memcached基础总结

概述

memecached内存缓存软件，协议简单，基于libevent事件处理，内置内存存储方式，采用不互相通信的分布式；

安装memcached

yum -y install libevent libevent-devel安装libevent libevent-devel wget http://memcached.org/files/memcached-1.4.33.tar.gz tar cd memcached-1.x.x ./configure --prefix=/usr/local/memcached make && make test && make install

安装memcache扩展

wget http://pecl.php.net/get/memcache-2.2.7.tgz tar -zxvf memcache-2.2.7.tgz /usr/local/php/bin/phpize ./configure --with-php-config=/usr/local/php/bin/php-config make && make install

启动和参数说明

/usr/local/memcached/bin/memcached -p port:监听端口tcp port number，TCP端口 -m num:单个数据项最大可用内存，MB为单位，默认64M；(占用机器内存) -u num:udp port端口udp端口监听。 -a <mask>:支持mask 0700 -d start :告诉memcached启动 -d restart:告诉启动memcached重启 -d stop|shutdown:启动memcached关闭 -d install:安装memcached服务； -d uninstall:取消安装memcached服务 -r :最大核心文件限制 -u <username>:用什么身份启动 -c <num>:最大的连接数。 -v ：输出错误信息； -vv:输出所有的信息。 -vvv:超详细的所有信息 -h:打印帮助和退出。 -i:打印memcached和libevent license； -p <file>:保存pid到文件。 -f <factor>:增长因子，默认1.25； -n <bytes>:最小的空间分配给key-value，默认48； -l <ip_addr> 监听的IP地址。（默认：INADDR_ANY，所有地址）

连接

memcache客户端与服务器通信比较简单，使用基于文本的协议，而不是二进制协议； 可以通过telnet与memcached做交互； telnet 127.0.0.1 11211 ctrl+]

命令

hash哈希：碰撞要低。 某个范围内，随机出一个hash值，放到相关的内存地址； 取出数据的时候，根据hash值来获取数据的内存地址取得地址；

新增add

add key flag expire length 回车 add name 1 30 3 lin STORED get name VALUE name 1 3 lin END key:唯一键值；flag:标志，要求一个正整数。 expire:有效期；length：缓存长度字节单位； flag:标志：标识存储数据的格式类型；比如：1-字符串，2-反转成数组，3，反序列对象等。 expire:设置秒数；时间戳（到某个点）；设为0不失效； 默认memcache最长常量为30天。可能等不到30天，数据也可能会被挤出去； 老数据有可能被踢

读取数据get

get key:返回某个key值

删除delete

delete key 删除指定的key；

替换replace

replace key flag expire length 参数和add一样，修改某个key的值； 只能对已经存在的键进行修改 replace age 0 0 9 linjunbin STORED get age VALUE age 0 9 linjunbin END

设置和修改值set

参数和add,replace一样，功能有所区别，如果key存在则修改，不存在则添加。

incr,decr命令：增加/减少值的大小

incr/decr key num

注意：incr,decr操作是把32位无符号来+-操作，值在0-2的32次方范围内。 秒杀场景。每进来一个用户就新增1，直到进来达到限制数其他的直接拒绝静态页。

统计stats

stats STAT pid 15992 ：进程号 STAT uptime 3289 ：运行的时间 STAT time 1485095107 ：当前时间戳 STAT version 1.4.13 ：当前版本 STAT libevent 2.0.21-stable STAT pointer_size 64 STAT curr_connections 11 ：当前有几个连接 STAT total_connections 13 ：总共连接几个 STAT connection_structures 12 STAT reserved_fds 20 STAT cmd_get 10 ：查询次数 STAT cmd_set 7 ： STAT cmd_flush 0 STAT cmd_touch 0 STAT get_hits 8 ：获取成功次数 STAT get_misses 2 ：失败的次数，获取不到值；可以计算缓存命中率 STAT delete_misses 0 STAT delete_hits 1 STAT incr_misses 0 STAT incr_hits 0 STAT decr_misses 0 STAT decr_hits 0 STAT cas_misses 0 STAT cas_hits 0 STAT cas_badval 0 STAT touch_hits 0 STAT touch_misses 0 STAT auth_cmds 0 STAT auth_errors 0 STAT bytes_read 541 STAT bytes_written 667 STAT limit_maxbytes 268435456 STAT accepting_conns 1 STAT listen_disabled_num 0 STAT threads 4 STAT conn_yields 0 STAT hash_power_level 16 STAT hash_bytes 524288 STAT hash_is_expanding 0 STAT expired_unfetched 0 STAT evicted_unfetched 0 STAT bytes 222 STAT curr_items 3 ：当前几个key值 STAT total_items 6 ：自动启动起来存储的几个值 STAT evictions 0 STAT reclaimed 1 END

flush_all清空所有的存储对象

flush_all

memcached内存管理和删除机制

C语言：使用malloc,free来向操作系统申请和释放内存。

内存碎片化：在不断的申请和释放过程中，形成了一些很小的内存片段，无法再利用

slab allocator缓存内存碎片化

memcached用slab allocator机制来管理内存。

slab allocator原理：预告把内存划分成数个slab class仓库（每个slab clas大小1M）各个仓库切分成不同尺寸的小块（chunk）；需要存内容的时候，判断内容大小，为其选择合理的仓库；

1M slab class = 4 byte (chunk) * 1000 * 250;

将尺寸相同的chunk放在同一组class；

关联参数：增长因子，表示chunk之间间隔倍数1.25默认。这个参数可以调整

系统选择合适的chunk

数据存储：chunk为固定大小，造成浪费这个问题，不能克服，只能缓解；根据要存入数据的大小来选择不同空闲chunk来存储。

注意：如果有100byte的内容要存，可是122大小的仓库中没有空闲的chunk满了， 是不会寻找更大规格chunk来存（144），而是把122byte仓库的旧数据踢掉。 LRU：删除机制less recently use 过期机制与删除机制

固定大小chunk带来的内存浪费

比如存储100byte数据到122chunk中，无疑浪费了22byte就浪费了，无法彻底解决，只能缓解问题。

注意:开发者可以对网站缓存中的item长度进行统计，并制定合理的slab class中的chunk大小。通过增长因子调整。 -m 64 -p 11211 -vvv -f 增长因子

grow factor调优

默认值1.25倍数。使用-f参数进行调整。 注意：当f=1.25时，从输出结果来看，某些相邻slab class大小比值并非1.25，这些误差为了保持字节数对齐而故意调整的。

memcached的过期数据惰性删除

当某个值过期后，并没有从内存删除，因此，stats统计时，curr_item有其信息； 当某个新值去占用她的位置时，当成空chunk来占用。 当get值时，判断是否过期，如果过期返回空，并且清空，curr_item就减少了。 惰性删除：减少cpu时间和检测成本；

memcached此处用的LRU删除机制

如果122byte大小的chunk都满了，要插入新的值120byte，会挤掉122bytechunk里面的值； memcached用的LRU删除机制，最近最少使用；least recently used; 当某个单元被请求时，维护一个计数器，通过计数器来判断最近谁最少被使用。

注意：即使key设置了永久有效也会被踢出；

memcached中的一些参数限制

key长度：250 btye（二进制协议支持65535个字节） value的限制1M，一般都是存储一些文本， 内存的限制：32位下最大设置2G

如果有30G数据要缓存，一般不会单实例装30G，一般建议开启多个实例，不同服务器端口，或者不同机器；

深入理解memcache

支持高并发

memcached使用多路复用I/O模型epoll,select等。多路复用I/O是一种消息通知模式。 用户连接好I/O准备后，系统会通知我们这个连接可以进行I/O操作，不会阻塞在某个用户连接。 所以，memcached能支持高并发； -t：参数表示支持线程数，并非线程数越多越好，一般设置为CPU核数，这样效率最高。 线程数越多系统需要县城调度时间就越多，而把线程数设置成CPU核数，系统需要的线程调度时间最少。

使用slab分配算法保存数据

memecache默认只能存储不大于1M的数据（修改源码可以存多1m,把power_block宏设置更大数） 使用Slab分配算法，把固定大小1M内存块分成N小块； （具体后续查看分析源码）

删除过期item

memcache为每个item设置一个过期时间，并非过期就删除，而是访问时过期数据才删除。懒删除机制；

memcached多线程模型

memcached是一个多线程缓存服务器程序，线程分为： 1、主线程:接收客户端连接，并把连接分配给工作线程处理。 2、工作线程：worker thread，处理客户端连接请求。 主线程accept函数接收到来的连接，把连接push工作线程的CQ队列中，并向工作线程发送一个信号，通知工作线程有新的客户端连接需要处理。 当工作线程接收到主线程信号，便会把CQ队列上的客户端连接注册到libevent进行侦听， libevent会侦听客户端连接的读写时间，并调用相关的回调函数drive_machine进行处理。

示例-小试牛刀

<?php $mc = new Memcache(); $mc->connect('127.0.0.1', '11211');//连接mamcache服务器 $val = $mc->get('name'); if(empty($val)) { $mc->set('name', 'linjunbin', 0, 10);//缓存数据 }else{ $mc->delete('name');//删除数据 } $mc->close();//断开连接

PHP扩展访问memecached服务器

connect():返回bool类型连接单个服务器 host:服务器域名或者IP port:服务器TCP端口，默认11211 timeout:连接持续超时时间，默认值1s，过长的连续持续时间可能导致失去所有的缓存优势。 addServer():用于向对象添加一个服务器；

注意：addserver()没有连接到服务器动作，所以在memcached进程没有启动时候，执行addserver成功也会返回true；

bool Memcache:addServer( host,int port[,bool persistent,int weight, int timeout,int retry_interval, bool status,callback failure_callback])

persistent:是否使用常连接，默认为true； weight:权重，在多个服务器设置中占得比例； timeout:连接memcached服务器失效的秒数 retry_interval:服务器连接失败的重试平率，默认是15S一次，设置-1为自动重试 status:控制服务器是否被标记为online， fail_callback:失败时候的回调函数，函数的两个参数失败服务器hostname和port //示例 foreach ((array) $hosts as $i => $host) { $port = isset($ports[$i]) ? $ports[$i] : $ports[0]; $this->options['timeout'] > 0 ?$this->handler->addServer($host, $port, $this->options['persistent'], 1, $this->options['timeout']) :$this->handler->addServer($host, $port, $this->options['persistent'], 1); } memcache:getServerStatus:用于获取一个服务器在线或者离线状态。 int Memcache::getServerStatus(string $host, int $port); 0:表示服务器离线，非0：表示服务器在线； getStats:用于获取服务器的统计信息。返回一个关联数组统计信息； array Memcache::getStats(string $type, int $slabid, int $limit) type:期望统计的信息类型，reset，malloc,maps等。 slabid:与type参数联合指定slab分块拷贝数据； limit:从服务器获取的实体条数；