Zookeeper学习总结

lix_uan
• 阅读 1421

IDEA环境

pom.xml

<dependencies>
    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-core</artifactId>
        <version>2.8.2</version>
    </dependency>

    <dependency>
        <groupId>org.apache.zookeeper</groupId>
        <artifactId>zookeeper</artifactId>
        <version>3.5.7</version>
    </dependency>
</dependencies>

log4j.properties

log4j.rootLogger=INFO, stdout  
log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n  
log4j.appender.logfile=org.apache.log4j.FileAppender  
log4j.appender.logfile.File=target/spring.log  
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n  

服务器动态上下线监听案例

先在集群创建/servers节点

create /servers "servers"

服务端向Zookeeper注册代码

import org.apache.zookeeper.*;

public class Server {
    private String connectString;
    private int sessionTimeOut;
    private ZooKeeper zooKeeper;
    private String parentNode = "/servers";

    //创建客户端连接
    public void getConnect() throws Exception{
        connectString = "node01:2181,node02:22181,node03:2181";
        sessionTimeOut = 10000;

        zooKeeper = new ZooKeeper(connectString, sessionTimeOut, new Watcher() {
            public void process(WatchedEvent watchedEvent) {

            }
        });
    }

    //注册服务器
    public void registerServer(String hostname) throws Exception {
        String create = zooKeeper.create(parentNode +"/server", hostname.getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);

        System.out.println(hostname + " is online " + create);
    }

    //业务功能
    public void business(String hostname) throws Exception {
        System.out.println(hostname + " is working...");
        Thread.sleep(Long.MAX_VALUE);
    }

    public static void main(String[] args) throws Exception {
        //获取连接
        Server server = new Server();
        server.getConnect();

        //注册服务信息
        server.registerServer(args[0]);

        //启动业务功能
        server.business(args[0]);
    }
}

客户端代码

import org.apache.zookeeper.*;
import java.util.ArrayList;
import java.util.List;

public class Client {
    private String connectString;
    private int sessionTimeOut;
    private ZooKeeper zooKeeper;
    private String parentNode = "/servers";

    //创建客户端连接
    public void getConnect() throws Exception{
        connectString = "node01:2181,node02:22181,node03:2181";
        sessionTimeOut = 10000;

        zooKeeper = new ZooKeeper(connectString, sessionTimeOut, new Watcher() {
            public void process(WatchedEvent watchedEvent) {
                //再次启动监听
                try {
                    getServerList();
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        });
    }

    //获取服务器列表信息
    public void getServerList() throws Exception {
        //获取服务器子节点信息,并对父节点进行监听
        List<String> children = zooKeeper.getChildren(parentNode, true);
        //存储服务器信息列表
        ArrayList<String> servers = new ArrayList<String>();
        //遍历所有节点,获取节点中的主机名称
        for (String child : children) {
            byte[] data = zooKeeper.getData(parentNode + "/" + child, false, null);
            servers.add(new String(data));
        }
        //打印服务器列表信息
        System.out.println(servers);
    }

    //业务功能
    public void business() throws Exception {
        System.out.println("client is working...");
        Thread.sleep(Long.MAX_VALUE);
    }

    public static void main(String[] args) throws Exception {
        //获取zk连接
        Client client = new Client();
        client.getConnect();
        //获取servers的子节点信息,从中获取服务器列表
        client.getServerList();
        //业务进程启动
        client.business();
    }
}

测试

  • 启动客户端

  • 在node01上zk客户端的/servers目录上创建临时序列化节点,观察控制台变化

    create -e -s /servers/node02 "node02"
    create -e -s /servers/node03 "node03"
    delete /servers/node020000000000
  • 启动服务端

  • 在IDEA运行配置中加入参数 node02

  • 运行main方法,查看控制台

选举机制

节点信息说明

  • SID:服务器ID,作为服务器的唯一标识,不能重复
  • ZXID:事务ID,记录了修改的顺序,如果zxid1小于zxid2,那么zxid1在zxid2之前发生
  • Epoch:每个Leader任期的代号,初始为0,每投一次票这个数就会增加

第一次启动

  • 假设有5台机器,myid分别为1,2,...,5
  • 服务器1启动,投自己一票,状态为LOOKING
  • 服务器2启动,投自己一票,状态为LOOKING
  • 服务器1与服务器2交换选票信息
  • 由于服务器2的myid大于1的myid,1把票投给2
  • 此时服务器1 0票,服务器2 2票
  • 服务器3启动,按上述逻辑,服务器1,2 0票,服务器3 3票
  • 由于服务器3票数过半,状态变为LEADER,1,2状态改为FLLOWING
  • 服务器4启动,由于已经有LEADER了,所以服务器4状态变为FLLOWING
  • 服务器5和服务器4一样

非第一次启动

  • 如果存在LEADER,只需要和LEADER建立连接同步状态即可
  • 如果集群中不存在LEADER,则按照以下规则进行选举
    • EPOCH大的直接胜出
    • EPOCH相同,ZXID大的胜出
    • ZXID也相同,SID(或myid,两个数值一样)大的胜出

监听器原理

  • 首先要有一个main()线程
  • main线程中创建Zookeeper客户端,这时会创建两个线程
  • 一个负责通信(connect),一个负责监听(listener)
  • connect线程将注册的监听事件发送给Zookeeper
  • 将注册的监听事件添加到Zookeeper的监听器列表中
  • Zookeeper监听到数据或路径有变化,就会向listener线程发送消息
  • listener内部重写process方法来响应变化

写数据流程

  • 假设集群有三台机器,follower1,follower2,leader
  • Client向follower1发送一个写的请求
  • follower1会进一步把请求转发给leader
  • leader收到请求后,将请求广播给各个follower
  • 各个follower收到请求后会将请求加入写队列,并向leader发送成功信息
  • 当leader收到半数以上的成功信息,说明写操作可以执行
  • leader会向各个follower发送提交信息
  • 各个follower收到消息后会将队列里的写请求执行,此时写成功

集群安装多少台zk合适

经验

  • 10台服务器:3台zk

  • 20台服务器:5台zk

  • 100台服务器:11台zk

  • 200台服务器:11台zk

为什么不装更多zk

  • zk多,可以提高可靠性,但过多的zk会提高通信延迟

为什么要装奇数台

  • 3台时,2台坏了就不能用了
  • 4台时,2台坏了就不能用了
  • 5台时,3台坏了就不能用了
  • 6台时,3台坏了就不能用了
  • ......
  • 可以发现2n和2n-1的容忍度是一样的,没有必要多加一台zk
点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Easter79 Easter79
3年前
vue+element 表格formatter数据格式化并且插入html标签
前言   vue中element框架,其中表格组件,我既要行内数据格式化,又要插入html标签一贯思维,二者不可兼得也一、element表格数据格式化  !(https://oscimg.oschina.net/oscnet/3c43a1cb3cbdeb5b5ad58acb45a42612b00.p
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
3个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Wesley13 Wesley13
3年前
Java获得今日零时零分零秒的时间(Date型)
publicDatezeroTime()throwsParseException{    DatetimenewDate();    SimpleDateFormatsimpnewSimpleDateFormat("yyyyMMdd00:00:00");    SimpleDateFormatsimp2newS
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
8个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这
lix_uan
lix_uan
Lv1
学无止境,即刻前行
文章
7
粉丝
7
获赞
1