朝花夕拾 - redis知识要点
文章目录
关键词:线程模型与多路复用、底层数据结构、RDB/AOF、redis-cluster、一致性哈希环、哨兵、缓存穿透/击穿/雪崩、读写分离和本地缓存、分布式锁、事务和管道,内存淘汰策略,缓存过期策略,其他数据结构
本文是无图文章
导语:Redis由于其丰富的数据结构和基于内存、Reactor单线程模型和统一的IO多路复用模型,以及redis-cluster,使得redis既能作为缓存内存为访问加速,又可以作为Nosql存储较为简单的数据库。
1.Redis的线程模型与多路复用
Redis使用单线程Reactor处理请求事件,所产生的的读写连接事件等会交给专门的事件处理器来进行处理,在redis中,这种事件处理器是在同一个线程中运行的。
多路复用:redis使用同一的接口封装了系统的selectepollkqueue等不同的多路复用网络IO模型,使得redis在任何系统中都可以有比较高的性能,封装的接口函数包括aeCreatexxx、aePollxxx之类的函数,里面是不同的IO的具体实现,select模型会作为通用的网络IO模型作为兜底,为redis提供随时随地的可用性,虽然select机制因为1024 fd数目限制和轮询机制,使得性能比较不OK。
2.底层数据结构
数据类型可以通过object encoding key查看
2.1 sds简单动态字符串,
sds相较于C字符串具有内存安全、可直接获取长度、可保存二进制数据等优点,根据value的不同,分为intembstrraw encoding
2.2 linkedlist双端链表,每一个listNode都有prev/next指针指向相邻节点,双端链表、无环、多态
2.2 ziplist压缩列表,压缩列表是一个连续的内存块,能够高效利用内存顺序读写的优势,避免离散读的低效,ziplist的结构为:zlbytes|zltail|zllen|entries...|zlend,对于key.value类型的数据,key.value是连续存储的,所以他既可以用来做链表的数据结构也可以做zset何hashtable的数据结构
2.3 字典,又叫hashtable,里面有两个ht,一般存储的数据会放在ht[0]中,当负载因子大于5时进行扩容,扩容过程如下:
1.在ht[1]申请一块空间,大小相当于ht[0]的2的幂次方
2.rehashidx置为0,表示开始扩容,
3.在curd进行的同时,rehashidx+1,数据从ht[0]迁移到ht[1]上,
4.等到ht[0]中的数据为空时,清空ht[0],rehashidx置为-1,ht[1]替代成为ht[0]
2.4 skiplist,跳表,是由多层链表组成的数据结构,层数最多有32层,当存取数据时,决定从哪一层开始遍历,是靠投币决定的,定位到对应层级之后,开始查找链表中的位置,目标值较大则向右查找,较小则向左查找,在最底层,是完整的链表,存储了所有数据,
skiplist相比于二叉平衡树而言,维持节点平衡的代价较小,只需要更改对应层级上链表节点指针即可,而二叉树则需要局部翻转。
skiplist并不只是用list存储数据,key和score映射关系是放在hashtable中的,排序用score排序,当定位到具体某一个Key时,就需要用hashtable2.5 整数集合,intset,是集合的实现之一,intset有encoding/length和contents数组组成,encoding是只能升级不能降级的,添加新元素需要判断新元素类型的编码是否高于现有编码,如果需要升级的话,需要重新为旧元素分配新空间,然后将新元素追加到新空间中。
2.6 quicklist,是利用ziplist压缩列表优势,避免linkedlist指针多占用空间和随机读写性能差的问题而产生的数据结构,结构如下,linkedlist的每一个节点存放ziplist,每一个ziplist用linkedlist双指针连接起来。
字符串:sds
list: ziplist、linkedlist、quicklist(ziplist+linkedlist)
hash: ziplist/dict
set: intset/hashtable
zset: ziplist/skiplist(hashmap)
3.其他数据结构:hyperlog基数统计、geo坐标分析(hash比对来确认是否就近),bitmap布隆过滤器,发布订阅
4.RDB与AOF
RDB是快照文件,是通过save命令或bgSave来对当前redis内存数据形成一个快照,配置一般为save m n,指m秒内n个命令,rdb需要fork子进程,在fork时,创建子进程会阻塞当前进程,子进程会将fork时的内存作为快照存储下来,在快照文件形成期间,如果此时有新的写请求会通过COW机制,在对应目标的内存块复制一个copy,然后在copy上面进行写入,当快照文件完成时,copy会替换原内存块。
bgrewriteaof前内存快照涉及命令的重新写入,出现此操作,除了手动操作之外,一般是aof文件过大,导致触达阈值而触发的,在bgrewrite期间,redis会对当前快照的key重新对应的命令,如lpush key1 val1 val2...,以64个为单位重写,对于已过期的key,则不会重新写入,大大节省了aof文件空间,而在此期间,redis还会新加一个rewiteaof_buf,用来存储rewrite期间的aof命令,当新aof文件完成后,rewriteaof_buf会刷入新文件中。
aof:对应aof_buf,是对写请求的日志记录,一般来讲,数据的写入是先写日志再写数据的,而redis则是,先写数据,再写文件,所以在aof期间如果aof未及时刷盘会有丢失数据的风险。aof刷盘策略有三种:
always:每一个写请求都会刷盘fsync
everysec每一秒调用fsync刷盘
no:刷盘动作交给操作系统write,周期刷盘,一般为30秒
5.redis-sentinel哨兵模式
哨兵负责监控redis集群的状态,自动进行故障转移,同步消息等。
sentinel故障转移过程:
当一个redismaster实例不能及时响应sentinel发来的心跳检测时,负责监控的sentinel会认为主观下线,并告知其他sentinel,其他sentinel会对这个实例再次检测,如果一般以上认为主观下线,则标记为客观下线,开始选主过程,sentinel会选择一个主sentinel(多数原则)然后由主sentinel从master的从节点中选择一个,选择的规则依次是:复制偏移量>最近响应>nodeID...(这里其实有很多),选出最优的slave成为新的master。
6.主从同步机制
master-slave架构下,slave需要主动发送sync给master,master收到之后会bgsave形成一个快照文件,将这个快照文件发送给slave,在此期间产生的命令aof_buf中的命令也会在快照之后发送给slave,slave根据快照和aof来回放,完成同步。
7.redis-cluster
slot槽是一个虚拟概念,并不实际存在,但是槽可以决定你的key分布在哪一台机器上,redis-cluster有16384个槽,通过crc16(key)%16384得出key所对应的存储节点,槽的范围0~16383,关于槽的分配,ruby可以自动分配槽到对应的节点中,可以使用range方法,也可以使用roundrobin方法,将槽与节点的关系映射起来。
槽分配之后,cluster中的每一个节点就拥有槽与管理者的全部映射关系,当接到key请求后,当前节点会首先查看本地的16384位的二进制序列为中对应位置是否是1,这个二进制序列位中,每一位对应着一个槽,如果是1的话,表示当前节点拥有该槽,如果没有,则节点还存储了全局的索引数组,这个索引数组反映的也是槽与位的映射关系,从这里找到对应节点然后进一步处理。
redis-cluster通信端口:在各自端口的基础上+10000
redis-cluster gossip协议:当新节点加入时,会发送meet给集群,正常情况下, 每一个节点会定时向最近未通信的节点随机选几个发送ping消息,发送完之后会收到响应pong,如果超时未响应,则会认为目标节点主观下线,当集群中超半数节点都认为该节点主观下线,那么该节点会进入选主流程。
选主流程:slave确认masterfail之后会带上自己的currentEpoch发起投票请求Failover_auth_request,在本epoch之内,其他master节点发出FAILOVER_AUTH_ACK投票,半数以上即让该slave升级为master,新master要做以下几件事情:1.从slave升级成为Master,2.delslot和addslot接管槽位,3.slave同步连接,广播自己选为master的消息。
8.缓存击穿/穿透/雪崩
击穿:当大量请求访问一个热点key时,热点key突然失效,此时会将请求量直接打到数据库上,导致数据库压力剧增。解决方案:热点key不过期策略,如果要刷新,只需要业务程序去更新缓存就可。
穿透:请求打到一个不存的的缓存key上,然后会将请求量打到数据库上,数据库压力陡增。解决方案:null缓存
雪崩:当大量缓存数据都在同一时刻过期,大量请求打在了数据库上,数据库压力陡增。解决方案:缓存key过期时间随机。
9.读写分离和本地缓存
redis-cluster或其他的集群方案,其中有一种可能性是,请求量都会被打到某一个热点key所在的节点上,而且这种方式用redis-cluster扩容没办法解决,单机上最多10W个QPS可能没办法承受对单个key的访问,这时候就需要有能够将读请求和写请求分离的设计方案了,这种方案需要设置代理层,代理层主要做两件事:路由转发设置读写分离、热点数据缓存,关于热点数据缓存,需要有一个算法能够将哪些是热点哪些不是热点,有选择地缓存热点数据到proxy上,承担一部分读请求压力。
本地缓存,如果redis实例压力太大,需要借助应用服务的本地缓存来实现限流,防止所有流量都达到redis上,但是这种做法让redis实例更新数据时无法及时更改到本地,本地缓存则需要加上一个合理的过期时间,防止脏数据存留太久。
10.分布式锁
- 一般来讲,使用redis实现的分布式锁,应该有以下几个步骤:
10.1 自旋等待,并查看锁是否释放(下一步)
10.2 setnx或set(key, value, expireTime, ['NX'])得到锁
10.3 处理事务
10.4 查看锁是否过期(检查锁是否仍然是自己拥有),CAS
10.5 如果锁仍然自持,那么释放锁,如果锁已经过期,回滚事务或者报错
所以分布式锁的过期时间和事务耗时很关键。 - 升级一点:如果单节点的redis分布式锁存在以下情况:加锁的redis节点宕机了,怎么办?
对于这种情况,redis可以通过自动故障转移和数据持久化尽量减少并发锁问题,但是仍然不能解决极端状况下redis锁丢失或者同时出现两个锁的问题。
Redis的作者有一个思路,叫做redlock,大致实现过程如下:
假设现在集群中有ABCDE个节点,客户端加锁的请求,要同时向这5个节点发起,这5个节点要有半数以上都可以获得这个锁,加锁的value,是客户点的毫秒过期时间,响应回客户端时,客户端需要去校验现在的时间是否已过期,如果已经过期,那么加锁失败,如果半数以上都在有效期之内,那么加锁成功。
假设如果其中有一台机器宕机不工作了,未来得及持久化又丢掉了数据,然后又重启,怎么办呢?这里可以设置重启时间要在过期时间间隔之后再操作,这样,只要锁过期了,就跟redis没什么关系了。
11.事务和管道
关于事务的几个命令:
watch:会监控操作的key是否会被其他的事务操作,如果有,那么直接return,下面的事务不会执行
MUlti: 开始事务,相当于数据库的begin transaction
exec: 提交事务,相当于数据库的commit动作
discard: 丢弃,以上事务的动作不会执行,所有命令会被丢弃掉,可类比于rollback。
管道:管道是批量发送命令的操作,它可以将多个命令打包起来发给redis服务器,然后批量返回响应。这样有利于减少与redis之间的网路传输消耗。
12.内存淘汰策略和过期策略
no-eviction 直接拒绝写入
allkeys-lru 所有键里的LRU淘汰
volentile-lru 过期key里的LRU淘汰
allkeys-random 所有key里的随机淘汰
volentile-random 过期key里的随机淘汰
allkeys-lfu 所有key里的最近访问频率
volentile-lfu 所有key里的最近访问频率
- LRU算法:redis的LRU算法其实是近似LRU算法,使用的是随机采样方式,每次随机采样5个key,选择这5个key中的最久的Key,与LRU池子里的最早的key比较,如果比这个key还早,那么放进去这个池子,这样到最后,这个池子就会满,满了的时候,这个池子中的最早的key会被直接淘汰掉,这是一种性能和空间权衡之后的结果
过期策略
定时,需要有一个计时器,当key到期之后,就会执行删除,对CPU来说有多余的计算量,需要维护计时器监听key是否过期,但是对内存来说是很友好的,可以及时清理掉不必要的数据。
定期,每隔一段时间清理掉那些过期的key,对CPU和内存都好一些
惰性,每次请求来的时候才判断key是否过期,对CPU友好,对内存不友好,因为会占用一段时间的内存。
其他数据结构:
hyperlog:基数统计
bitmap:布隆过滤器
geo:经纬度,可以依靠经纬度hash来计算近似和距离
发布订阅:发布订阅是将消息传递给订阅链表上的所有client,支持两种模式,一种是模式匹配,另一种是完全模式

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论