Zab协议

介绍

ZAB协议是专门为分布式协调服务服务zookeeper设计的一种支持崩溃恢复的原子广播协议,他是zookeeper保证数据一致性的核心算法.zookeeper基于该算法实现了一种准备模型的的系统架构来实现各个副本之间的数据一致性

角色

  • leader:负责读,负责所有的写,并对事务进行协调管理
  • follower:负责读,写请求会转发到leader,参与选举
  • observer:只负责读,不参与选举,不参与写

    参数

  • myid:服务器id,配置的一个id,集群的每个节点都有一个myid,myid越大,选主的时候几率就越大,占一定权重
  • zxid:一个64位的事务id,leader节点进行提议的时候生成的全局递增事务id,zxid越大,代表节点上的数据越新
  • epoch:纪元,每发生一次选主,就会递增1,存储在zxid的高32位,这样设计的好处就是,选举时,因为epoch在高位,只是比较zxid就能快速判断当前节点是否是最新的主节点

原理

ZAB主要包括两个部分:消息广播和崩溃恢复

消息广播

消息广播主要使用二阶段提交进行实现

两阶段提交优点:原理简单,易于实现
两阶段提交缺点:

  • 同步阻塞:二阶段提交中,所有节点都在等其他节点响应,无法进行其他操作,这种阻塞极大限制了分布式系统的性能
  • 单点问题:协调者很重要,要是协调者在提交节点突然不可用,整个流程就无法运转,而且其他参与者会一直处于资源锁定的状态中,无法继续完成事务操作
  • 数据不一致:假设协调者在向部分follower发送commit提交后,发生网络问题,就会导致只有你分follower收到了commit请求,造成严重的数据不一致问题
  • 容错性不好:二阶段提交没有设计完善的容错机制,任意一个节点的失败都会导致整个事务的失败
  • Leader节点收到请求后,生成一个提案,并且给这个提案赋予一个递增的zxid,然后会把这个提案放到一个ConcurrentHashMap里面,其中key就是zxid
  • Leader通过先进先出队列(TCP实现的),将带有zxid的提案发送给follower节点
  • follower节点收到提案后,会比较自己当前最大的zxid和主节点zxid是否一致,不一致会顺着zxid往前递归查找和主节点进行比较,直到zxid和value都和leader的一致,然后进行同步(和raft算法同步逻辑相似),先把提案写到硬盘,然后返回一个ack
  • leader收到半数以上的ack时,会先去ConcurrentHashMap里面查询上一个zxid是否提交,如果没提交,会先等这个事务提交,如果提交了,自己先执行提交操作,然后发送commit命令,同时给observer节点发送提案信息进行同步.剩下的半数follower会通过心跳和leader保持同步,如果心跳不通,会更新自己状态为LOOKING,更新后客户端就不能从这里读取数据了
  • follower收到commit命令时,进行提交操作,

    崩溃恢复

    崩溃恢复的主要任务时选举,选举分两个场景,集群启动时候的leader选举和leader崩溃后的leader选举,选举参数主要有两个,zxid和myid,权重zxid大于myid

节点状态

  • LOOKING:这个时候没有主节点,节点处于竞选状态
  • FOLLOWING:从节点状态,同步leader状态,参与选举
  • LEADING:领导者状态
  • OBSERVING:观察者状态,只负责读,不参与选举,不参与写

    集群启动时选举

  • 刚开始由于节点都不知道别的节点的信息,所以会把票投给自己,然后广播出去自己的投票信息,投票信息(myid,zxid)
  • 收集来自不同节点的投票信息
  • 处理投票并重新投票,根据zxid权重大于myid的原则,投给对应的节点(刚启动大家zxid都是0,所以一般按照myid)
  • 重新统计投票,如果有节点得到超过半数的投票信息,就可以确定leader,否则再发起新一轮投票,直到选出leader
  • 这时候的leader还处于一个"准leader"状态,因为他还要办一件事,同步数据,他会广播消息自己已经是leader,并且告知所有从节点自己的纪元编号,然后会进行初次数据同步,发送自己当前最大的zxid,如果从节点发现自己的zxid和主节点不一样或者zxid一样但是value不一样,会顺着zxid往前查找,并与主节点zxid比较更新,知道完全zxid和value完全相同,和主节点保持一致
  • 给同步成功的follower分配TCP队列
  • 改变服务器状态,进入消息广播

    leader崩溃选举

  • leader自动让出,follower节点和leader节点有通信,主节点发现半数以上的follower节点和自己断开连接,就会自动退位,把自己更新成LOOKING状态,同时半数以上的follower也会进入LOOKING状态,然后进入选主阶段
  • 选主过程和启动选主过程相同

zookeeper崩溃恢复三个原则

zookeeper三个基本原则是保证数据一致性的重要保障

主动让出原则

防止发生脑裂,但不能完全避免脑裂,在判定自己故障并且主动让出之前有可能已经选出新的leader,这段短暂的时间有可能出现脑裂

leader自动让出,follower节点和leader节点有心跳检测,用于发现follower不可用时踢出或者leader自己不可用,主节点发现半数以上的follower节点和自己断开连接,就会认为自己出问题了,然后自动退位,把自己更新成LOOKING状态,同时半数以上的follower也会进入LOOKING状态,然后进入选主阶段

已处理的数据不允许丢失原则(数据一致性)

假设leader节点进行消息广播的时候,收到半数以上的ack然后发送commit命令时候,只发送了一部分的follower节点就挂掉了,这时候触发崩溃恢复,根据崩溃恢复的选主机制,剩下的follower节点中,选主成功的肯定是收到commit指令的follower节点(因为他的zxid最大),节点当选后会拿自己的zxid对follower进行数据同步,从而达到数据不丢失

被丢弃的数据不能再现原则(数据一致性)

假设leader节点进行数据广播的时候,收到了半数以上的ack,然后自己先commit提交,但是所有follower未收到commit指令,那这个zxid提案会丢失,leader崩溃以后,新的leader没有这个zxid,老的leader一follower角色加入集群后,会进行数据同步,发现自己的zxid和当前leader不一致,会进行raft的递归同步,直到和leader保持一直

高可用集群部署方式


zk的集群只要是保证半数以上的服务存活,就会往外提供服务,因此最简单的方式就是分三个机房或者机架部署,每个机房部署不超过半数的follower数量,这样一来一个机房断电或者别的原因不可用了,另外两个总数超过一半,还能继续提供服务

三机房部署引起的脑裂问题


假设机房A是主节点,但是A和B、C都发生了网络分区,这时候B和C总数超过了半数,所以B和C选出新的leader在机房B,这时候如果机房A还没实现主动退让原则(主动退让通过心跳实现,会有延迟),在这段时间内,就会出现两个leader的脑裂问题,这时候事务请求到B和C还好,如果请求到A,因为A不能达成一半以上的ack(他和B、C网络不通),无法处理,就会出问题

评论

暂无评论