Redis集群原理、搭建

Wesley13
• 阅读 398

在实际的生产过程中,单服的redis存在单点的问题,redis通常需要集群的环境。相比单服的redis,集群有以下些好处:

  • 1.容错性

    解决在单服redis的单点问题。在一个或多个节点出现宕机的情况下,集群内部通过投票的机制能够快速的进行选举和不停机的情况下进行服务持续提供。

  • 2.扩展性

    相比单服在升级性能过程中,集群也能够很好的实现缓存的性能升级【多节点的热部署】。

  • 3.性能提升

    性能的提升其实在扩展过程中,就能够随之的体现出来。

一、原理

1.1 结构图

Redis集群原理、搭建

  • 所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.

  • 节点的fail是通过集群中超过半数的节点检测失效时才生效.

  • 客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可

  • redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 
    负责维护node<->slot<->value Redis 集群中内置了 16384 个哈希槽,当需要在 Redis 集群中放置一个 
    key-value 时,redis 先对 key 使用 crc16 算法算出一个结果,然后把结果对 16384 求余数,这样每个 key 
    都会对应一个编号在 0-16383 之间的哈希槽,redis 会根据节点数量大致均等的将哈希槽映射到不同的节点

1.2 容错机制

  • (1)投票过程是集群中所有master参与,如果半数以上master节点与master节点通信超过(cluster-node-timeout),认为当前master节点挂掉.
  • (2):什么时候整个集群不可用(cluster_state:fail)? 
    a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态. ps : redis-3.0.0.rc1加入cluster-require-full-coverage参数,默认关闭,打开集群兼容部分失败. 
    b:如果集群超过半数以上master挂掉,无论是否有slave集群进入fail状态. 
    ps:当集群不可用时,所有对集群的操作做都不可用,收到((error) CLUSTERDOWN The cluster is down)错误

二、搭建

2.1 安装ruby环境

redis集群管理工具redis-trib.rb依赖ruby环境,首先需要安装ruby环境:

安装ruby

yum install ruby(安装ruby环境)
yum install rubygems(安装包管理器)
  • 1
  • 2

安装ruby和redis的接口程序 
拷贝redis-3.0.0.gem至/usr/local下 
执行:

gem install /usr/local/redis-3.0.0.gem
gem install redis --version 3.0.5(在线安装)
  • 1
  • 2

2.2节点安装

2.2.1配置节点

在同一台服务器用不同的端口表示不同的redis服务器,如下: 
主节点:192.168.101.3:7001 192.168.101.3:7002 192.168.101.3:7003 
从节点:192.168.101.3:7004 192.168.101.3:7005 192.168.101.3:7006

在/usr/local下创建redis-cluster目录,其下创建7001、7002。。7006目录,如下:

Redis集群原理、搭建

将redis安装目录bin下的文件拷贝到每个700X目录内,同时将redis源码目录src下的redis-trib.rb拷贝到redis-cluster目录下。

修改每个700X目录下的redis.conf配置文件:

port 
cluster-enabled yes 
  • 1
  • 2

日志文件的一个进程的文件位置(为了使进程文件不共用一个) 
pidfile /var/run/redis-7001.pid

2.2.2 启动每个节点

分别进入7001、7002、…7006目录,执行:

./redis-server ./redis.conf
  • 1

2.2.3 创建集群

在启动每个节点之后,每个节点都是独立的服务。节点之间并没有相互形成集群这样一个缓存环境,需要将这些节点连接到一起。

./redis-trib.rb create --replicas 1 192.168.101.3:7001 192.168.101.3:7002 192.168.101.3:7003 192.168.101.3:7004 192.168.101.3:7005  192.168.101.3:7006
  • 1

需要注意的是,每个集群至少需要6个节点,三主三从。个中参数:replicas 1 含义就是每个主节点需要一个从节点。

在执行这个命令之后,每个node文件夹内会出现node.conf文件。在node.conf中会写入节点和主节点之间的配置信息。表名主、从关系。如下

Redis集群原理、搭建

2.2.4 查看集群信息

进入到任意一个节点的bin文件夹内,执行命令

./redis-cli -c -h 192.168.101.3 -p 7000 //以端口7000连接redis客户端
  • 1

    cluster nodes //查询集群信息

  • 1

此处同样能看到node.conf内的配置信息。

cluster info //查询集群状态信息
  • 1

Redis集群原理、搭建

三、集群常见命令

1.基本操作【crud操作】

//添加主节点
./redis-trib.rb add-node  192.168.101.3:7007 192.168.101.3:7001
//添加从节点
./redis-trib.rb add-node --slave --master-id 主节点id 添加节点的ip和端口 集群中已存在节点ip和端口
这个相对繁琐点,需要查看一下master节点的id,这个通过直接node.conf或者clouster nodes 命令都可以看到。
例如:
./redis-trib.rb add-node --slave --master-id cad9f7413ec6842c971dbcc2c48b4ca959eb5db4【主节点】  192.168.101.3:7008 192.168.101.3:7001
//删除节点
./redis-trib.rb del-node 127.0.0.1:7005 4b45eb75c8b428fbd77ab979b85080146a9bc017
ps:这时候需要首先将该节点的存在的数据,也就是槽点进行删除才能够进行移除节点操作
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

2.分配槽

槽:redis 内置有2的14次方个槽点,进行存储时根据设置的key进行算法加密后的结果进行取余,得到的值则为槽的编号,槽在那个节点就存储在哪个节点。

在新添加的主从节点,需要向主节点分配一定的槽。

//分配槽点
./redis-trib.rb reshard 192.168.101.3:7001
  • 1
  • 2

根据提示输入想分配的槽点的个数即可,接下来会提示是根据所有的槽作为源点进行分配还是从特点的node进行槽的重新分配。

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Easter79 Easter79
2年前
springcloud微服务基于redis集群的单点登录
springcloud微服务基于redis集群的单点登录yls_2019923_简介本文介绍微服务架构中如何实现单点登录功能创建三个服务:1.操作redis集群的服务,用于多个服务之间共享数据2.统一认证中心服务,用于整个系
Wesley13 Wesley13
2年前
RAC环境单实例启动数据库收到ORA
     在RAC环境中,如果你在没有启动节点的集群服务的情况下单实例启动数据库,将收到类似如下的报错:\oracle@rhel1u01\$sqlSQL\Plus:Release10.2.0.5.0ProductiononTueApr215:00:272013Copyright(
Peter20 Peter20
3年前
Redis几种集群模式
此文由转载现在越来越多的项目都会利用到redis,多实例redis服务比单实例要复杂的多,这里面涉及到定位、容错、扩容等技术问题。我们常用sharding技术来对此进行管理,其集群模式主要有以下几种方式:主从复制哨兵模式Redis官方Cluster集群模式(服务端sharding)Jedissharding集群(客户端sharding)
Stella981 Stella981
2年前
Redis 集群演进探讨和总结
Redis为什么需要集群?首先Redis单实例主要有单点,容量有限,流量压力上限的问题。Redis单点故障,可以通过主从复制replication,和自动故障转移sentinel哨兵机制。但Redis单Master实例提供读写服务,仍然有容量和压力问题,因此需要数据分区,构建多个Master实例同时提供读写服务(不仅限于从rep
Stella981 Stella981
2年前
Nginx + lua +[memcached,redis]
精品案例1、Nginxluamemcached,redis实现网站灰度发布2、分库分表/基于Leaf组件实现的全球唯一ID(非UUID)3、Redis独立数据监控,实现订单超时操作/MQ死信操作SelectPollEpollReactor模型4、分布式任务调试Quartz应用
Stella981 Stella981
2年前
CentOS 7下 部署Redis
redis集群是一个无中心的分布式redis存储架构,可以在多个节点之间进行数据共享,解决了redis高可用、可扩展等问题,redis集群提供了以下两个好处:1)将数据自动切分(split)到多个节点2)当集群中的某一个节点故障时,redis还可以继续处理客户端的请求一个Redis集群包含16384个哈希槽(hashslot
Stella981 Stella981
2年前
Redis migrate 数据迁移工具
在工作中可能会遇到单点Redis向Redis集群迁移数据的问题,但又不能老麻烦运维来做。为了方便研发自己迁移数据,我这里写了一个简单的Redis迁移工具,希望对有需要的人有用。本工具支持:单点Redis到单点Redis迁移单点Redis到Redis集群迁移Redis集群到Redis集群迁移Redis集群
Stella981 Stella981
2年前
Redis 集群
集群的概念早在Redis3.0之前讨论了,3.0才在源码中出现。Redis集群要考虑的问题:1.节点之间怎么据的同步,如何做到数据一致性。一主一备的模式,可以用Redis内部实现的主从备份实现数据同步。但节点不断增多,存在多个master的时候,同步的难度会越大。2.如何做到负载均衡?请求量大的时候,如何将请求尽量均分到各个服
Stella981 Stella981
2年前
Redis请求路由
简介我们通过上几篇的介绍已经初步的掌握了Redis集群的相关内容,但这都是针对Redis服务端来说。我们还没有使用客户端去操作Reids集群。Redis为了追求性能的最大化,对集群环境的客户端通信协议做了非常大的修改,也就是说如果我们要从单节点连接Redis切换到连接集群环境Redis,那么客户端的代码需要做出相应的修改。下面我们