当你对 redis 说你中意的女孩是 Mia

京东云开发者
• 阅读 241

作者:京东科技 周新智

一、Redis

众所周知,Redis = Remote Dictionary Server,即远程字典服务。

是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。

二、当你对 redis 说你中意的女孩是 Mia 时

1、set myLove Mia

redis 会将 key:myLove value:Mia

包装成一个 dictEntry 对象、一个 redisObject 对象,如下图所示:

当你对 redis 说你中意的女孩是 Mia

dictEntry:众所周知,Redis是Key-Value数据库,因此对每个键值对都会有一个dictEntry,里面存储了指向Key和Value的指针;next指向下一个dictEntry,与本Key-Value无关。

Key:图中右上角可见,Key("myLove")并不是直接以字符串存储,而是存储在SDS结构中。

redisObject:Value("Mia")既不是直接以字符串存储,也不是像Key一样直接存储在SDS中,而是存储在redisObject中。实际上,不论Value是5种类型的哪一种,都是通过redisObject来存储的;而redisObject中的type字段指明了Value对象的类型,ptr字段则指向对象所在的地址。不过可以看出,字符串对象虽然经过了redisObject的包装,但仍然需要通过SDS存储。

1.1、对 myLove 进行对象封装

1.1.1、dictEntry

redis内部整体的存储结构是一个大的hashmap,内部是数组实现的hash,key冲突通过挂链表去实现,每个dictEntry为一个key/value对象,value为定义的redisObject。

结构图如下:

当你对 redis 说你中意的女孩是 Mia

dictEntry是存储key->value的地方,再让我们看一下dictEntry结构体

/*
 * 字典
 */
typedef struct dictEntry {
    // 键
    void *key;
    // 值
    union {
        // 指向具体redisObject
        void *val;
        // 
        uint64_t u64;
        int64_t s64;
    } v;
    // 指向下个哈希表节点,形成链表
    struct dictEntry *next;
} dictEntry;

1.1.2、对象封装 redisObject

我们接着再往下看redisObject究竟是什么结构的

/*
 * Redis 对象
 */
typedef struct redisObject {
    // 类型 4bits
    unsigned type:4;
    // 编码方式 4bits
    unsigned encoding:4;
    // LRU 时间(相对于 server.lruclock) 24bits
    unsigned lru:22;
    // 引用计数 Redis里面的数据可以通过引用计数进行共享 32bits
    int refcount;
    // 指向对象的值 64-bit
    void *ptr;
} robj;

*ptr指向具体的数据结构的地址;type表示该对象的类型,即String,List,Hash,Set,Zset中的一个,但为了提高存储效率与程序执行效率,每种对象的底层数据结构实现都可能不止一种,encoding 表示对象底层所使用的编码。

redis对象底层的八种数据结构:

 REDIS_ENCODING_INT(long 类型的整数)
 REDIS_ENCODING_EMBSTR embstr (编码的简单动态字符串)
 REDIS_ENCODING_RAW (简单动态字符串)
 REDIS_ENCODING_HT (字典)
 REDIS_ENCODING_LINKEDLIST (双端链表)
 REDIS_ENCODING_ZIPLIST (压缩列表)
 REDIS_ENCODING_INTSET (整数集合)
 REDIS_ENCODING_SKIPLIST (跳跃表和字典)

查看 redisObject 详细信息 :

# 查看 key对应value的 redisObject 类型
type key
    type myLove

# 查看 key对应value的redisObject 详细信息
debug object key
     debug object myLove

value 为 string 、int 类型是 redisObject 中的 type、encoding 不同表现形式

Value 为 string 类型时:

当你对 redis 说你中意的女孩是 Mia

Value 为 int类型时:

当你对 redis 说你中意的女孩是 Mia

以上两种不同 value 类型,type 相同,encoding 不同

1.2、对 myLove 进行持久化

1.2.1、rdb 文件写入

当你对 redis 说你中意的女孩是 Mia

1.2.2、aof 缓存写入 文件保存

默认情况下 没有开启 AOF ( append only file)

开启 AOF 持久化后,每执行一条会更改 redis 数据的命令,redis就会将写入、修改、删除命令写入到硬盘中的 AOF 文件(当然并不是立即写入文件,而是立即写入aof缓存中,再根据aof配置的数据持久化条件进行写入),这一过程显然会降低 redis 的性能,但大部分情况下这个影响是能够接受的,

另外使用快的硬盘可以提高 AOF 的性能。

配置 redis.conf

# 可以通过修改redis.conf配置文件中的appendonly参数开启 
    appendonly yes
# AOF文件的保存位置和RDB文件的位置相同,都是通过dir参数设置的。 dir ./
# 默认的文件名是appendonly.aof,可以通过appendfilename参数修改 appendfilename appendonly.aof

AOF文件中存储的是redis的命令 原理

Redis 将所有对数据库进行过写入的命令(及其参数)记录到 AOF 文件, 以此达到记录数据库状态的 目的, 为了方便起见, 我们称呼这种记录过程为同步。

同步命令到 AOF 文件的整个过程可以分为三个阶段:

命令传播:Redis 将执行完的命令、命令的参数、命令的参数个数等信息发送到 AOF 程序中。 缓存追 加:AOF 程序根据接收到的命令数据,将命令转换为网络通讯协议 RESP 的格式,然后将协议内容追加到服务器的 AOF 缓存中。 文件写入和保存: AOF 缓存中的内容被写入到 AOF 文件末尾,如果设定的 AOF 保存条件被满足的话, fsync 函数或者 fdatasync 函数会被调用,将写入的内容真正地保存到磁盘中。

命令传播:

当一个 Redis 客户端需要执行命令时, 它通过网络连接, 将协议文本发送给 Redis 服务器。服务器在 接到客户端的请求之后, 它会根据协议文本的内容, 选择适当的命令函数, 并将各个参数从字符串文 本转换为 Redis 字符串对象( StringObject )。每当命令函数成功执行之后, 命令参数都会被传播到 AOF 程序。

缓存追加:

当命令被传播到 AOF 程序之后, 程序会根据命令以及命令的参数, 将命令从字符串对象转换回原来的 协议文本。协议文本生成之后, 它会被追加到 redis.h/redisServer 结构的 aof_buf 末尾。

redisServer 结构维持着 Redis 服务器的状态, aof_buf 域则保存着所有等待写入到 AOF 文件的协 议文本。

RESP 协议:

Redis客户端使用RESP(Redis的序列化协议)协议与Redis的服务器端进行通信。 虽然该协议是专门为 Redis设计的,但是该协议也可以用于其他 客户端-服务器 (Client-Server)软件项目。

可以通过特殊符号来区分出数据的类型:

单行回复:以+号开头。

错误回复:以-号开头。

整数回复:以:号开头。

批量回复:以$号开头。

多条批量回复:以*号开头。

1、间隔符号,在Linux下是\r\n,在Windows下是\n

2、简单字符串 Simple Strings, 以 "+"加号 开头

3、错误 Errors, 以"-"减号 开头

4、整数型 Integer, 以 ":" 冒号开头

5、大字符串类型 Bulk Strings, 以 "$"美元符号开头,长度限制512M 6、数组类型 Arrays,以 "*"星号开头 用SET命令来举例说明RESP协议的格式。

实际发送的请求数据:

redis> SET myLove "Mia"
"OK"
*3\r\n$3\r\nSET\r\n$6\r\nmyLove\r\n$3\r\nMia\r\n
*3
$3
SET
$5
mykey
$5
Hello

实际收到的响应数据:

+OK\r\n

文件写入和保存:

每当服务器常规任务函数被执行、 或者事件处理器被执行时, aof.c/flushAppendOnlyFile 函数都会被 调用, 这个函数执行以下两个工作:

WRITE:根据条件,将 aof_buf 中的缓存写入到 AOF 文件。 SAVE:根据条件,调用 fsync 或 fdatasync 函数,将 AOF 文件保存到磁盘中。

当你对 redis 说你中意的女孩是 Mia

2、给你的爱一个期限 expire myLove 999999999

当你对 redis 说你中意的女孩是 Mia

从图可知,在redis的数据库中,redisDb结构中的expires字典中保存了数据库中所有键的过期时间,所以叫过期字典。

过期字典的key是一个指针,指向键空间的某个键对象(就是数据库键)

过期字典的value是一个long类型的整数,这个整数保存了键所指向的数据库键的过期时间,一个毫秒精度的UNIX时间戳

过期键判定

通过过期字典,我们可以得到一个key是否过期:

判断key是否存在于过期字典中

通过过期字典拿到key的过期时间,判断当前UNIX时间戳是否大于key时间

过期key如何删除

惰性删除策略

过期键的惰性删除策略由db.c/expireIfNeeded函数实现,所有读写数据库的Redis命令在执行之前都会调用expireIfNeeded函数对输入键进行检查:

如果输入键已经过期,那么expireIfNeeded函数将输入键从数据库中删除。

如果输入键未过期,那么expireIfNeeded函数不做动作。

当你对 redis 说你中意的女孩是 Mia

expireIfNeeded函数就像一个过滤器,它可以在命令真正执行之前,过滤掉过期的输入键,从而避免命令接触到过期键。

另外,因为每个被访问的键都可能因为过期而被expireIfNeeded函数删除,所以每个命令的实现函数都必须能同时处理键存在以及键不存在这两种情况:

当键存在时,命令按照键存在的情况执行。

当键不存在或者键因为过期而被expireIfNeeded函数删除时,命令按照键不存在的情况执行。

当你对 redis 说你中意的女孩是 Mia

定期删除策略的实现

过期键的定期删除策略由redis.c/activeExpireCycle函数实现,每当Redis的服务器周期性操作redis.c/serverCron函数执行时,activeExpireCycle函数就会被调用,它在规定的时间内,分多次遍历服务器中的各个数据库,从数据库的expires字典中随机检查一部分键的过期时间,并删除其中的过期键。

3、del myLove

不好意思,哥们的爱无法删除!

点赞
收藏
评论区
推荐文章
京东云开发者 京东云开发者
12个月前
浅谈测试用例设计 | 京东云技术团队
一个良好的测试用例除了可以帮助测试人员阅读,理解,修改之外,也要方便我们去管理它,从而提高测试工作的质量和效率。不同的业务条线或者团队可以根据自己需要制定一些规则,让大家在进行测试用例设计遵守。
Wesley13 Wesley13
2年前
FLV文件格式
1.        FLV文件对齐方式FLV文件以大端对齐方式存放多字节整型。如存放数字无符号16位的数字300(0x012C),那么在FLV文件中存放的顺序是:|0x01|0x2C|。如果是无符号32位数字300(0x0000012C),那么在FLV文件中的存放顺序是:|0x00|0x00|0x00|0x01|0x2C。2.  
Stella981 Stella981
2年前
Jmeter+Ant+Jenkins接口自动化测试框架搭建for Windows
前言软件开发的V模型大家都不陌生,其中测试阶段分为单元测试→功能测试→系统测试→验收测试。其中单元测试一般由开发同学们自己完成,大部分测试具体实施(这里不包括用例设计)是从单体功能测试开始着手的。!(https://usergoldcdn.xitu.io/2018/11/12/16706895ac09c25d?imageView2/0/
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
API 小达人 API 小达人
4个月前
自动化测试|Eolink Apikit 如何保存、使用测试用例
测试用例是测试过程中很重要的一类文档,它是测试工作的核心,是一组在测试时输入和输出的标准,是软件需求的具体对照。测试用例可以帮助测试人员理清测试思路,确保测试覆盖率,发现需求漏洞,提高软件质量,提高测试效率,降低测试成本。EolinkApikit的API管理应用中,测试用例管理涉及到两个场景:单接口测试用例管理和多接口测试用例批量测试。
新支点小星 新支点小星
4个月前
CNAS中兴新支点——第三方软件测试都有哪些?
第三方检测机构——中兴新支点联系方式杨先生:13276637512微信:yangxs13276637512第三方软件测试是一种软件测试活动,旨在确保软件的质量、功能、性能和安全性等方面符合预期要求。一、以下是一些常见的第三方软件测试类型:1、兼容性测试:测
稚然 稚然
2个月前
软件测试之python高级软件测试开发第15期直播课
//下仔のke:https://yeziit.cn/15205/软件测试是软件开发过程中的重要组成部分,主要目的是发现软件中的错误和缺陷(统称为“bug”),验证软件是否满足用户需求和设计要求,从而提高软件的质量和可靠性。软件测试的原则包括:尽早进行软件测
测试用例设计指南
软件测试设计是测试过程中重要的测试活动,怎么样设计测试用例能提高我们测试的效率和质量,从以下几个方面做了简单的讲解。
API 小达人 API 小达人
6个月前
如何进行自动化测试,提高测试效率?
作为测试人员,在进行比较大的项目时,使用自动化测试能帮助我们事半功倍地完成测试工作,提高测试效率,缩短开发周期。EolinkApikit为测试工程师提供API文档管理、快速接口调试、测试用例管理、及自动化测试等功能。协作测试工程师快速查看API文档及变更,以及更快的进行接口测试和自动化测试工作,降低测试用例编辑成本,提升自动化测试效率。
新支点小玉 新支点小玉
4个月前
从定义和实施帮你对软件测试进行全解析
软件测试是软件开发过程中的一项重要环节,它的目的是确保软件能够满足预期的需求和质量标准,为客户提供高质量的产品或服务。本文将从定义和实施角度对软件测试进行解析,帮助读者更好地了解软件测试。一、定义软件测试是一种质量保证活动,旨在检测软件产品是否满足用户需求