【php精品源码栏目提醒】:网学会员为广大网友收集整理了,Memcache的使用和协议分析详解 - 基础科学,希望对大家有所帮助!
Memcache 的使用和协议分析详解Memcache 是 danga.com 的一个项目,最早是为 LiveJournal 服务的,目前全世界不少人使用这个缓存项目来构建自己大负载的网站,来分担数据库的压力。
(关于 Memcache 的更多信息请 Google)Memcache 官方网站:http://www.danga.com/memcached【安装 Memcache 服务器端】我目前的平台,服务器是 Fedora Core 1(内核:2.4.22),客户端是 Windows XP SP2,需要安装的就是服务器的 Memcached 的守护进程和客户端的
PHP 扩展
php_memcache 两个东西。
现在我分别来讲。
服务器端主要是安装 memcache 服务器端,目前的最新版本是 memcached-1.2.0 。
下载:http://www.danga.com/memcached/dist/memcached-1.2.0.tar.gz另外,Memcache 用到了 libevent 这个库用于 Socket 的处理,所以还需要安装 libevent,libevent 的最新版本是 libevent-1.2。
(如果你的系统已经安装了 libevent,可以不用安装)官网:http://www.monkey.org/provos/libevent/下载:http://www.monkey.org/provos/libevent-1.2.tar.gz我分别把两个东东下载回来,放到 /tmp 目录下: cd /tmp wget http://www.danga.com/memcached/dist/memcached-1.2.0.tar.gz wget http://www.monkey.org/provos/libevent-1.2.tar.gz先安装 libevent: tar zxvf libevent-1.2.tar.gz cd libevent-1.2 ./configure --prefix/usr make make install然后看看我们的 libevent 是否安装成功: ls -al /usr/lib grep libeventlrwxrwxrwx 1 root root 21 11 12 17:38 libevent-1.2.so.1 -gtlibevent-1.2.so.1.0.3-rwxr-xr-x 1 root root 263546 11 12 17:38 libevent-1.2.so.1.0.3-rw-r--r-- 1 root root 454156 11 12 17:38 libevent.a-rwxr-xr-x 1 root root 811 11 12 17:38 libevent.lalrwxrwxrwx 1 root root 21 11 12 17:38 libevent.so -gt libevent-1.2.so.1.0.3还不错,都安装上了,再来安装 memcache,同时需要安装中指定 libevent 的安装位置: cd /tmp tar zxvf memcached-1.2.0.tar.gz cd memcached-1.2.0 ./configure --with-libevent/usr make make install如果中间出现报错,请仔细检查错误信息,按照错误信息来配置或者增加相应的库或者路径。
安装完成后会把 memcached 放到 /usr/local/bin/memcached ,我们看以下是否安装了: ls -al /usr/local/bin/mem-rwxr-xr-x 1 root root 137986 11 12 17:39 /usr/local/bin/memcached-rwxr-xr-x 1 root root 140179 11 12 17:39 /usr/local/bin/memcached-debug恩,安装完成了,现在我们看以下 memcache 的帮助: /usr/local/bin/memecached -hmemcached 1.2.0-p ltnumgt port number to listen on-s ltfilegt unix socket path to listen on disables network support-l ltip_addrgt interface to listen on default is INDRR_ANY-d run as a daemon-r maximize core file limit-u ltusernamegt assume identity of ltusernamegt only when run as root-m ltnumgt max memory to use for items in megabytes default is 64 MB-M return error on memory exhausted rather than removing items-c ltnumgt max simultaneous connections default is 1024-k lock down all paged memory-v verbose print errors/warnings while in event loop-vv very verbose also print client commands/reponses-h print this help and exit-i print memcached and libevent license-b run a managed instanced mnemonic: buckets-P ltfilegt save PID in ltfilegt only used with -d option-f ltfactorgt chunk size growth factor default 1.25-n ltbytesgt minimum space allocated for keyvalueflags default 48参数不算多,我们来启动一个 Memcache 的服务器端: /usr/local/bin/memcached -d -m 10 -u root -l 192.168.0.200 -p 12000 -c 256 -P/tmp/memcached.pid-d 选项是启动一个守护进程,-m 是分配给 Memcache 使用的内存数量,单位是 MB,我这里是 10MB,-u 是运行 Memcache 的用户,我这里是 root,-l 是监听的服务器 IP 地址,如果有多个地址的话,我这里指定了服务器的 IP 地址 192.168.0.200,-p 是设置 Memcache 监听的端口,我这里设置了 12000,最好是 1024 以上的端口,-c 选项是最大运行的并发连接数,默认是 1024,我这里设置了 256,按照你服务器的负载量来设定,-P 是设置保存 Memcache 的 pid 文件,我这里是保存在/tmp/memcached.pid,如果要结束 Memcache 进程,执行: kill cat /tmp/memcached.pid也可以启动多个守护进程,不过端口不能重复。
【安装 Memcache 的
PHP 扩展】Memcache 就是在服务器监听端口,通过一定的协议交互来写入数据到服务器内存中,或者获取一些值。
如果你了解 Memcache 的交互协议,完全可以自己构建 Memcache 的客户端,目前网上也有很多构建好的 Memcache 客户端的
PHP Class,可以直接用,不过我这里为了效率,还是决定使用 PECL 中 Memcache的专用扩展,因为毕竟是用 C 写的,效率比较高,而且安装部署比较方便。
下载 PECL 中的 Memcache,因为我的客户端是 Windows XP,所以需要下载 dll 版,我的
PHP 版本是
PHP 5.1.4,必须下载
PHP 5.1 专用的扩展。
PECL 官网:http://pecl.
php.net (For Linux) http://pecl4win.
php.net(For Windows)扩展下载: http://pecl4win.
php.net/download.
php/ext/5_1/5.1.2/
php_memcache.dll如果你的
PHP 是其他版本,请到 http://pecl4win.
php.net/ext.
php/
php_memcache.dll 选择你相应的版本,如果是 Linux 下的
PHP,请到 http://pecl.
php.net/package/memcache 选择相应想要下载的版本。
下载完了以后,我把
php_memcache.dll 拷贝到 c:
php5ext 目录下,如果你的扩展目录是在是缺省路径,(就是没有修改过
php.ini 中的扩展路径) 请拷贝到 c:windows 目录下,如果是 Linux 平台,请自己编译安装,可以在程序中使用 dl函数加载,或者在编译
php 的时候加载进去。
最后重启 Web 服务器,IIS/Apache。
我的网站目录是在:d:mysite 目录下,现在建立一个 phpinfo.
php 文件在网站根目录下,代码是:ltphpinfogt看有没有成功加载
php_memcache.dll 扩展。
如果显示了 Memcache 选项和相应的版本信息,则说明成功加载了,否则请仔细检查上面的步骤。
如果一切正确无误,那么说明安装成功。
【Memcache 初试】 接口介绍 服务器端和客户端都安装配置好了,现在我们就来测试以下我们的成果。
Memcache 客户端包含两组接口,一组是面向过程的接口,一组是面向对象的接口,具体可以参考
PHP 手册 “LXXV. MemcacheFunctions” 这章。
我们为了简单方便,就使用面向对象的方式,也便于维护和编写代码。
Memcache 面向对象的常用接口包括:Memcache::connect -- 打开一个到 Memcache 的连接Memcache::pconnect -- 打开一个到 Memcache 的长连接Memcache::close -- 关闭一个 Memcache 的连接Memcache::set -- 保存数据到 Memcache 服务器上Memcache::get -- 提取一个保存在 Memcache 服务器上的数据Memcache::replace -- 替换一个已经存在 Memcache 服务器上的项目(功能类似 Memcache::set)Memcache::delete -- 从 Memcache 服务器上删除一个保存的项目Memcache::flush -- 刷新所有 Memcache 服务器上保存的项目(类似于删除所有的保存的项目)Memcache::getStats -- 获取当前 Memcache 服务器运行的状态 测试代码 现在我们开始一段测试代码:ltphp//连接mem new Memcachemem-gtconnectquot192.168.0.200quot 12000//保存数据mem-gtsetkey1 This is first value 0 60val mem-gtgetkey1echo quotGet key1 value: quot . val .quotltbrgtquot//替换数据mem-gtreplacekey1 This is replace value 0 60val mem-gtgetkey1echo quotGet key1 value: quot . val . quotltbrgtquot//保存数组arr arrayaaa bbb ccc dddmem-gtsetkey2 arr 0 60val2 mem-gtgetkey2echo quotGet key2 value: quotprint_rval2echo quotltbrgtquot//删除数据mem-gtdeletekey1val mem-gtgetkey1echo quotGet key1 value: quot . val . quotltbrgtquot//清除所有数据mem-gtflushval2 mem-gtgetkey2echo quotGet key2 value: quotprint_rval2echo quotltbrgtquot//关闭连接mem-gtclosegt如果正常的话,浏览器将输出:Get key1 value: This is first valueGet key1 value: This is replace valueGet key2 value: Array 0 gt aaa 1 gt bbb 2 gt ccc 3 gt ddd Get key1 value:Get key2 value:基本说明我们的 Memcache 安装成功,我们再来分析以下上面的这段程序。
程序分析 初始化一个 Memcache 的对象:mem new Memcache连接到我们的 Memcache 服务器端,第一个参数是服务器的 IP 地址,也可以是主机名,第二个参数是Memcache 的开放的端口:mem-gtconnectquot192.168.0.200quot 12000保存一个数据到 Memcache 服务器上,第一个参数是数据的 key,用来定位一个数据,第二个参数是需要保存的数据内容,这里是一个字符串,第三个参数是一个标记,一般设置为 0 或者MEMCACHE_COMPRESSED 就行了,第四个参数是数据的有效期,就是说数据在这个时间内是有效的,如果过去这个时间,那么会被 Memcache 服务器端清除掉这个数据,单位是秒,如果设置为 0,则是永远有效,我们这里设置了 60,就是一分钟有效时间:mem-gtsetkey1 This is first value 0 60从 Memcache 服务器端获取一条数据,它只有一个参数,就是需要获取数据的 key,我们这里是上一步设置的 key1,现在获取这个数据后输出输出:val mem-gtgetkey1echo quotGet key1 value: quot . val现在是使用 replace 方法来替换掉上面 key1 的值,replace 方法的参数跟 set 是一样的,不过第一个参数 key1 是必须是要替换数据内容的 key,最后输出了:mem-gtreplacekey1 This is replace value 0 60val mem-gtgetkey1echo quotGet key1 value: quot . val同样的,Memcache 也是可以保存数组的,下面是在 Memcache 上面保存了一个数组,然后获取回来并输出arr arrayaaa bbb ccc dddmem-gtsetkey2 arr 0 60val2 mem-gtgetkey2print_rval2现在删除一个数据,使用 delte 接口,参数就是一个 key,然后就能够把 Memcache 服务器这个 key 的数据删除,最后输出的时候没有结果mem-gtdeletekey1val mem-gtgetkey1echo quotGet key1 value: quot . val . quotltbrgtquot最后我们把所有的保存在 Memcache 服务器上的数据都清除,会发现数据都没有了,最后输出 key2 的数据为空,最后关闭连接mem-gtflushval2 mem-gtgetkey2echo quotGet key2 value: quotprint_rval2echo quotltbrgtquot【Memcache 协议分析】如果你不喜欢
php_memcache.dll 扩展或者服务器器目前不支持这个扩展,那么就可以考虑自己构建,需要构建 Memcahe 的客户端,要先了解 Memcache 协议的交互,这样才能开发自己的客户端,我这里就简单的分析以下 Memcache 的协议。
(更详细的协议内容请在 Memcache 服务器端的
源码的 doc/protocol.txt 文件中,本文基本来源于此)Memcache 既支持 TCP 协议,也支持 UDP 协议,不过我们这里是以 TCP 协议的协议作为主要考虑对象,想了解 UDP 协议的过程,请参考 doc/protocol.txt 文件。
错误指令Memcache 的协议的错误部分主要是三个错误提示之提示指令:普通错误信息,比如指令错误之类的ERRORrn客户端错误CLIENT_ERROR lt错误信息gtrn服务器端错误SERVER_ERROR lt错误信息gtrn 数据保存指令数据保存是基本的功能,就是客户端通过命令把数据返回过来,服务器端接收后进行处理。
指令格式:lt命令gt lt键gt lt标记gt lt有效期gt lt数据长度gtrnlt命令gt - command name主要是三个储存数据的三个命令, set add replaceset 命令是保存一个叫做 key 的数据到服务器上add 命令是添加一个数据到服务器,但是服务器必须这个 key 是不存在的,能够保证数据不会被覆盖replace 命令是替换一个已经存在的数据,如果数据不存在,就是类似 set 功能lt键gt - key就是保存在服务器上唯一的一个表示符,必须是跟其他的 key 不冲突,否则会覆盖掉原来的数据,这个 key是为了能够准确的存取一个数据项目lt标记gt - flag标记是一个 16 位的无符号整形数据,用来设置服务器端跟客户端一些交互的操作lt有效期gt - expiration time是数据在服务器上的有效期限,如果是 0,则数据永远有效,单位是秒,Memcache 服务器端会把一个数据的有效期设置为当前 Unix 时间设置的有效时间lt数据长度gt - bytes数据的长度,block data 块数据的长度,一般在这个个长度结束以后下一行跟着 block data 数据内容,发送完数据以后,客户端一般等待服务器端的返回,服务器端的返回:数据保存成功STOREDrn数据保存失败,一般是因为服务器端这个数据 key 已经存在了NOT_STOREDrn 数据提取命令从服务器端提取数据主要是使用 get 指令,格式是:get lt键gtrnlt键gt - keykey 是是一个不为空的字符串组合,发送这个指令以后,等待服务器的返回。
如果服务器端没有任何数据,则是返回:ENDrn证明没有不存在这个 key,没有任何数据,如果存在数据,则返回指定格式:VALUE lt键gt lt标记gt lt数据长度gtrnlt数据块gtrn返回的数据是以 VALUE 开始的,后面跟着 key 和 flags,以及数据长度,第二行跟着数据块。
lt键gt -key是发送过来指令的 key 内容lt标记gt - flags是调用 set 指令保存数据时候的 flags 标记lt数据长度gt - bytes是保存数据时候定位的长度lt数据块gt - data block数据长度下一行就是提取的数据块内容 数据删除指令数据删除指令也是比较简单的,使用 get 指令,格式是:delete lt键gt lt超时时间gtrnlt键gt - keykey 是你希望在服务器上删除数据的 key 键lt超时时间gt - timeout按照秒为单位,这个是个可选项,如果你没有指定这个值,那么服务器上 key 数据将马上被删除,如果设置了这个值,那么数据将在超时时间后把数据清除,该项缺省值是 0,就是马上被删除删除数据后,服务器端会返回:DELETEDrn删除数据成功NOT_FOUNDrn这个 key 没有在服务器上找到如果要删除所有服务器上的数据,可以使用 flash_all 指令,格式:flush_allrn这个指令执行后,服务器上所有缓存的数据都被删除,并且返回:OKrn这个指令一般不要轻易使,除非你却是想把所有数据都干掉,删除完以后可以无法恢复的。
其他指令如果想了解当前 Memcache 服务器的状态和版本等信息,可以使用状态查询指令和版本查询指令。
如果想了解当前所有 Memcache 服务器运行的状态信息,可以使用 stats 指令,格式statsrn服务器将返回每行按照 STAT 开始的状态信息,包括 20 行,20 项左右的信息,包括守护进程的 pid、版本、保存的项目数量、内存占用、最大内存限制等等信息。
如果只是想获取部分项目的信息,可以指定参数,格式:stats lt参数gtrn这个指令将只返回指定参数的项目状态信息。
如果只是想单独了解当前版本信息,可以使用 version 指令,格式:versionrn将返回以 VERSION 开头的版本信息如果想结束当前连接,使用 quit 指令,格式:quitrn将断开当前连接另外还有其他指令,包括 incr decr 等,我也不太了解作用,就不做介绍了,如果感兴趣,可以自己去研究。
【Memcache 在中型网站的使用】使用 Memcache 的网站一般流量都是比较大的,为了缓解数据库的压力, Memcache 作为一个缓存区 让域,把部分信息保存在内存中,在前端能够迅速的进行存取。
那么一般的焦点就是集中在如何分担数据库压力和进行分布式,毕竟单台 Memcache 的内存容量的有限的。
我这里简单提出我的个人看法,未经实践,权当参考。
分布式应用Memcache 本来支持分布式,我们客户端稍加改造,更好的支持。
我们的 key 可以适当进行有规律的封装,比如以 user 为主的网站来说,每个用户都有 User ID,那么可以按照固定的 ID 来进行提取和存取,比如 1 开头的用户保存在第一台 Memcache 服务器上,以 2 开头的用户的数据保存在第二胎 Mecache服务器上,存取数据都先按照 User ID 来进行相应的转换和存取。
但是这个有缺点,就是需要对 User ID 进行判断,如果业务不一致,或者其他类型的应用,可能不是那么合适,那么可以根据自己的实际业务来进行考虑,或者去想更合适的方法。
减少数据库压力这个算是比较重要的,所有的数据基本上都是保存在数据库当中的,每次频繁的存取数据库,导致数据库性能极具下降,无法同时服务更多的用户,比如 MySQL,特别频繁的锁表,那么让 Memcache 来分担数据库的压力吧。
我们需要一种改动比较小,并且能够不会大规模改变前端的方式来进行改变目前的架构。
我考虑的一种简单方法:后端的数据库操作模块,把所有的 Select 操作提取出来(update/delete/insert 不管),然后把对应的SQL 进行相应的 hash 算法计算得出一个 hash 数据 key(比如 MD5 或者 SHA),然后把这个 key 去Memcache 中查找数据,如果这个数据不存在,说明还没写入到缓存中,那么从数据库把数据提取出来,一个是数组类格式,然后把数据在 set 到 Memcache 中,key 就是这个 SQL 的 hash 值,然后相应的设置一个失效时间,比如一个小时,那么一个小时中的数据都是从缓存中提取的,有效减少数据库的压力。
缺点是数据不实时,当数据做了修改以后,无法实时到前端显示,并且还有可能对内存占用比较大,毕竟每次 select 出来的数据数量可能比较巨大,这个是需要考虑的因素。
上面只是我两点没有经过深思熟虑的简单想法,也许有用,那就最好了。
【Memcache 的安全】我们上面的 Memcache 服务器端都是直接通过客户端连接后直接操作,没有任何的验证过程,这样如果服务器是直接暴露在互联网上的话是比较危险,轻则数据泄露被其他无关人员查看,重则服务器被入侵,因为 Mecache 是以 root 权限运行的,况且里面可能存在一些我们未知的 bug 或者是缓冲区溢出的情况,这些都是我们未知的,所以危险性是可以预见的。
为了安全起见,我做两点建议,能够稍微的防止黑客的入侵或者数据的泄露。
内网访问最好把两台服务器之间的访问是内网形态的,一般是 Web 服务器跟 Memcache 服务器之间。
普遍的服务器都是有两块网卡,一块指向互联网,一块指向内网,那么就让 Web 服务器通过内网的网卡来访问Memcache 服务器,我们 Memcache 的服务器上启动的时候就监听内网的 IP 地址和端口,内网间的访问能够有效阻止其他非法的访问。
memcached -d -m 1024 -u root -l 192.168.0.200 -p 11211 -c 1024 -P/tmp/memcached.pidMemcache 服务器端设置监听通过内网的 192.168.0.200 的 ip 的 11211 端口,占用 1024MB 内存,并且允许最大 1024 个并发连接 设置防火墙防火墙是简单有效的方式,如果却是两台服务器都是挂在网的,并且需要通过外网 IP 来访问 Memcache的话,那么可以考虑使用防火墙或者代理程序来过滤非法访问。
一般我们在 Linux 下可以使用 iptables 或者 FreeBSD 下的 ipfw 来指定一些规则防止一些非法的访问,比如我们可以设置只允许我们的 Web 服务器来访问我们 Memcache 服务器,同时阻止其他的访问。
iptables -F iptables -P INPUT DROP iptables -A INPUT -p tcp -s 192.168.0.2 --dport 11211 -j ACCEPT iptables -A INPUT -p udp -s 192.168.0.2 --dport 11211 -j ACCEPT上面的 iptables 规则就是只允许 192.168.0.2 这台 Web 服务器对 Memcache 服务器的访问,能够有效的阻止一些非法访问,相应的也可以增加一些其他的规则来加强安全性,这个可以根据自己的需要来做。
【Memcache 的扩.
上一篇:
nginx安装与配置
下一篇:
法律专业开题报告范文