朝花夕拾 - kafka消息队列

关键词:批处理、pageCache、多partition_log、顺序读写、零拷贝、ISR、LEO和HW、consumer和partition、zookeeper的作用、实现顺序生产和消费、exactly once语义、request.required.acks、避免消息丢失的方案

  1. 批处理

producer端发送消息的步骤如下:

  • 封装消息体producerRecord
  • 序列化这个对象avro
  • 确认分区(指定partition、keyhash、roundrobin、随机之类的)
  • 放入到批次中,一个batch缓冲区的大小是32M,一个batch为16K,batch的数据结构为topic=>消息队列
  • sender线程从缓冲区拿到可发送的batch发送给broker

2.broker接收消息
broker接收消息会先放入到pagecache中,随后有刷盘策略进行刷盘,通过producer.type控制是同步还是异步,还可以通过flush.ms、flush.messages来确定刷盘的时机。在brokerlist中有ISR集群,leader写入之后需要同步日志给其他的ISR副本,直到全部写入完成之后,leader才会返回ack给producer。
顺序读写磁盘:单个partitionlog是顺序写入磁盘的,顺序写入磁盘可以最大化发挥磁盘性能,速度比内存随机读要快。
零拷贝写磁盘:mmap实现,是指用户空间在内核空间操作数据,刷磁盘等。
零拷贝读磁盘:sendfile实现,是指DMA技术使网卡直接在内核中读取buffer并传入网络。

3.多partitionlog并行写入
一个topc下可以由多个不同的partiion分布在不同的broker上,这样当有多个producer时,也可以并行得写入消息日志。

4.ISR集合
每一个partiion都有一个leader和多个replica副本,其中规定一部分副本必须与leader保持日志的同步,处于同步状态下的replica就是ISR集合,同步状态集。

5.HW和LEO
HW是leader上标记的ISR集合中最小LEO的位置,这个位置也是consumer可见的最大offset所在,当新消息写入leader时,这个HW并不会立即偏移到LEO所在位置,而是需要等待ISR集合中的所有副本全部写完之后,才会将HW偏移到LEO的位置。

6.consumer和partition
consumer需要在一个consumer-group中对partition_log进行消费,当新consumergroup建立时,broker会有一个机器作为协调器从consumer-group中选出一个消费者成为主消费者,这个主消费者往往是第一次接入的那台机器,这个机器会负责从协调器中拿到所有consumer和partition的信息,然后通过roundrobin和range方式对consumer确认partition的消费关系。各个consumer从协调器中获取自己与partition的关系,然后进行消息的消费。

7.zookeeper的作用
zookeeper主要用于存储一些基础的元信息,如brokerlist、producer、consumer、consumer-partition、ISR、offset

8.如何实现顺序消费
对于同一个partitionlog而言,消息自然是有序的,那么在生产消息和消费消息的时候,可以将消息写入这个partitionlog中,然后实现一个顺序生产和消费的策略。

9.request.required.ack
-1:表示所有ISR集合全部写入日志成功
0:写入leader与否不管,直接返回
1:写入leader即可,不管是否ISR已经全部写入
-1是保证数据安全不丢失的最好选项,但是会影响吞吐量,在此问题之上,可以考虑缩小ISR的数量,但是不能没有ISR,此外,网络和硬件也可以提高吞吐量

10.避免消息丢失

  • producer一侧:发送确认机制,如果发现因为网络原因,或broker宕机导致发送消息失败,那么会再次重试发送,当然,这里也应该设置producer.type为同步,因为异步并不能很好解决这个问题。
  • broker:如果有消息未写入ISR集合中的所有成员,那么也不会发送ack给producer,如果leader宕机了,那么ISR中的其他成员也会接替leader,拥有leader的所有消息,所以也不会丢失消息,如果leader未来得及同步消息给ISR集合中的replica的话,那么这个消息将继续等待同步,否则不会ack给producer
  • consumer:如果消息提交offset是自动的,那么确实很容易就出现消息丢失,如果手动提交,又有三种语义状况:

    • 最少一次
    • 最多一次
    • 严格一次

严格一次的保证,是靠将offset提交动作与事务提交动作绑定再一起,实现思路就是让offset保存在数据库中,依靠事务一起提交或者一起回滚,当然这样的话会对吞吐量造成很大影响,所以可以使用缓存,事务提交之后,将offset记录到缓存中,当再次消费该消息的时候,检查offset是否在缓存中,如果offset已经在缓存中了,就表明不需要重复消费了。

11.partitionlog文件存储格式
partitionlog是顺序存储的,文件存储是segment文件,里面有index和data量个文件,index是索引文件,data是消息记录的文件,文件名是20位的数字,这个是上一个segmentoffset的最大值,里面记录的是相对于自己的offset和对应的消息物理地址偏移量,所以在查找的时候,是靠二分查找到文件,再二分查找到offset,得到物理偏移量,读取相应文件。

评论

暂无评论