揭秘丨7分钟看懂华为云鲲鹏Redis背后的自研技术

逻辑溯星使
• 阅读 660

【小宅按】2019年5月,华为云发布全球首个基于自研ARM架构的分布式缓存鲲鹏Redis,搭载华为LibOS+华为编译器+安全容器引擎三项黑科技,在保证Redis强劲高性能外,还降低客户30%的使用成本,真正实现了好用不贵的普惠型分布式缓存Redis产品。

揭秘丨7分钟看懂华为云鲲鹏Redis背后的自研技术

揭秘丨7分钟看懂华为云鲲鹏Redis背后的自研技术

本文从技术视角解读华为云鲲鹏Redis是如何通过数据中心基础设施、芯片、硬件、软件等全栈创新优化,达成以上效果。

一、为什么ARM架构适合Redis?

众所周知,Redis是一款风靡全球的高性能、高灵活性、数据结构类型丰富的key-value内存数据库,拥有毫秒级的响应时延。因此Redis对服务器内存、网络带宽时延要求极高,即:Redis的高性能能否发挥出来取决于服务器内存、网络性能。

2019年3月, Redis之父Salvatore Sanfilippo(网名:antirez)就Redis ARM架构发展趋势发表观点,他表示把ARM作为Redis运行架构,并且通过了所有测试与验证、性能稳定性非常好,Antirez列举了很多测试数据,得到了广大网友的支持。

由于Redis在设计上就采用单线程架构,所有IO和数据处理都是在同一个线程中完成的,所以单节点的Redis最多只能使用一颗CPU核心,单节点Redis的性能基本达到10万QPS的量级后就没法再向上扩展了。

在现实的业务系统中,对Redis性能往往都要求达到100万QPS以上,甚至1000万以上,这种场景下需要通过Redis集群的方式来扩展Redis性能,而集群性能的瓶颈成为了Redis架构性能优化关键的的因素。

1 Redis Proxy集群架构性能关键点

Proxy集群作为业界广为流行的Redis集群,其架构如下:

揭秘丨7分钟看懂华为云鲲鹏Redis背后的自研技术

在这个架构中,Redis集群由负载均衡器、Redis Proxy和Redis Server这三类节点组成。在此Redis集群架构中,Proxy节点和Redis Server都可以水平扩展,通过增加节点数量就可不断提升Redis集群的整体性能。根据不同的业务诉求,集群性能可弹性扩展到100万至1000万QPS。也正是由于可通过增加节点数来提升集群整体性能,所以Redis单节点虽只用一颗CPU核心,CPU最高主频限制Redis单节点性能,但在集群水平扩展模式下cpu主频限制已经不太重要了。

在整个集群架构中,业务系统发出的Redis请求需要经过负载均衡器和Redis Proxy的两次转发后,才能到达Redis Server被真正处理,端到端的链路性能才是整个集群的最大性能瓶颈。实测结果也表明,Redis集群的端到端链路时延每减少1毫秒,集群整体性能可提升10%+。

2 Redis Cluster集群架构性能关键点

Cluster集群作为Redis官方标准的集群,逐步成为客户的集群首选架构,并实际应用到线上业务中。其架构如下:

揭秘丨7分钟看懂华为云鲲鹏Redis背后的自研技术

Cluster集群相比Proxy集群减少了网络跳数,性能更高、灵活性很强。该架构和Proxy集群一样,突破了Redis集群对于CPU单核性能的依赖性,而端到端的链路性能才是整个集群的最大性能瓶颈。

从上述架构剖析可以了解到,Redis单核性能的关键在于CPU的处理能力,但Redis真实在CPU中操作的时间在纳秒级别,不超过端到端时延的10%,因此Redis横向扩展核心靠链路性能优化。

二、华为云鲲鹏Redis:三项黑科技助力Redis性能

揭秘丨7分钟看懂华为云鲲鹏Redis背后的自研技术

1.华为自研LibOS构建高性能云服务基础设施,助力Redis性能2倍提升

LibOS兼顾资源利用率和隔离性,同时满足公有云资源利用率和多租户隔离的诉求,成为公有云runtime的重要发展方向。创新的LibOS技术将Redis的软件栈由10层压缩到4层,实现了超低延时。

1) SOCKET标准接口,实现从内核态网络栈平滑切换到用户态。
2) 轻量级协议栈,支持每个Redis实例有独立的协议栈,避免协议栈共享导致的锁竞争问题。
3) 业务线程和用户态协议栈共线程,零调度开销。
4) 发挥网卡极限性能,避免了中断和调度导致时延增加。

2.华为编译器通过智能动态编译优化,提升热点代码性能15+%

华为自研编译器针对公有云业务应用场景特征,通过智能动态编译优化,提升热点代码性能15+%:

1) 由部署在云服务环境内的轻量级性能特征采集Agent,保存程序动态运行时的关键性能特征信息;

2) 通过智能编译调优工具,以动态性能特征作为输入,结合静态代码分析,产生更优的编译策略;

3) 自研ARM64编译器使用新的编译策略重新编译生成优化后的应用程序,热点代码性能提升明显。

3.华为iSula自研安全容器引擎技术,以更少的系统资源占用,实现秒级实例分发与迁移

iSulad是华为自主研发的高性能、低开销的容器引擎,通过镜像下载加速技术和最小化启动调用链条,实现容器的秒级启动和迁移。配合LibOS,可实现可媲美虚拟机级别的安全隔离性,确保租户只能使用它们可用的资源。

三、强悍性能支撑客户业务成功

在某电商大客户中,客户业务数据量大、读写请求量大、峰值明显且扩容频繁、需求变化快等特点,对Redis依赖很重、性能要求很高,现网同时维护200+个Redis实例,疲于应付 容量扩容、性能下降、链接无响应、持久化失败等各种现网问题,给研发团队带来巨大挑战。

为了应对业务增长带来的大数据并发,解决系统瓶颈问题,客户决定考察华为云鲲鹏Redis。在多次的技术场景交流、PoC验证后,客户果断决策将自建的Redis实例全部迁移到鲲鹏Redis上,主要收益:

1) 性能收益。华为云基于全栈整合之后单实例性能达到10万QPS以上,Cluster集群支持性能的线性扩展至千万级别,足够应付2019年的业务增长目标。

2) 价格收益。鲲鹏Redis降低客户30%使用成本后,在做到同等规格实例比自建Redis更省钱的同时,资源使用率提升了20%。用花更少的钱,享受更大的容量。

3) 技术收益。鲲鹏Redis提供专业的技术支持,具备从硬件链路到软件优化的能力,可以提供更优的系统级优化方案。

迁移是有开销的,包括割接的稳定性测试与保障等,都需要人力投入。但客户CTO表示,华为云提供了很好的迁移保障,大大提升迁移的效率减少了对现网业务的影响。相比长期合作所带来的收益,这个开销基本忽略不计。

华为云鲲鹏Redis,业界首个基于自研ARM-Based全栈整合的Redis云服务,支持双机热备的HA架构,提供单机、主备、Proxy集群、Cluster集群实例类型,满足高读写性能场景及弹性变配的业务需求。

更多精彩内容,请滑至顶部点击右上角关注小宅哦~

揭秘丨7分钟看懂华为云鲲鹏Redis背后的自研技术

揭秘丨7分钟看懂华为云鲲鹏Redis背后的自研技术

点赞
收藏
评论区
推荐文章
blmius blmius
4年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
美凌格栋栋酱 美凌格栋栋酱
7个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
Peter20 Peter20
4年前
mysql中like用法
like的通配符有两种%(百分号):代表零个、一个或者多个字符。\(下划线):代表一个数字或者字符。1\.name以"李"开头wherenamelike'李%'2\.name中包含"云",“云”可以在任何位置wherenamelike'%云%'3\.第二个和第三个字符是0的值wheresalarylike'\00%'4\
Wesley13 Wesley13
3年前
FLV文件格式
1.        FLV文件对齐方式FLV文件以大端对齐方式存放多字节整型。如存放数字无符号16位的数字300(0x012C),那么在FLV文件中存放的顺序是:|0x01|0x2C|。如果是无符号32位数字300(0x0000012C),那么在FLV文件中的存放顺序是:|0x00|0x00|0x00|0x01|0x2C。2.  
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
PHP创建多级树型结构
<!lang:php<?php$areaarray(array('id'1,'pid'0,'name''中国'),array('id'5,'pid'0,'name''美国'),array('id'2,'pid'1,'name''吉林'),array('id'4,'pid'2,'n
Wesley13 Wesley13
3年前
Java日期时间API系列36
  十二时辰,古代劳动人民把一昼夜划分成十二个时段,每一个时段叫一个时辰。二十四小时和十二时辰对照表:时辰时间24时制子时深夜11:00凌晨01:0023:0001:00丑时上午01:00上午03:0001:0003:00寅时上午03:00上午0
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
3年前
Dubbo爆出严重漏洞!可导致网站被控制、数据泄露!附解决方案
http://dy.163.com/v2/article/detail/F5FPIFRU0511Q1AF.html  !(http://dingyue.ws.126.net/2020/0216/125ec4c4p00q5rcrs0019d200ig009qg00ig009q.png)  来源:华为云  原文地址:https://w
Python进阶者 Python进阶者
1年前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这