Kafka简明教程(生产过程)
文章目录
基本概念
kafka中的生产过程设计多个概念的配合,理清这些概念的关系,有利于理解kafka的生产机制。
| 角色 | 作用 |
|---|---|
| producer | 生产消息,向kafka推送消息,非kafka组件之一 |
| topic | 逻辑概念,用于组织一类消息 |
| broker | broker运行着kafka实例 |
| partition | 存储同一个topic的分区(多个分区共同存储一个topic的消息) |
| replication | partition的副本,为保证稳定性,同一个partition需要在不同broker上设置备份 |
| leader | partition的众多replication的一个,生产方向其中写入,消费方从中读取 |
| follower | partition除leader外的replication。用于备份partition的内容保证稳定性 |
下图直观反映了kafka的各种概念的关系。
zookeeper在kafka中的角色
zookeeper为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。它可以保证一致性和分区容错性,在kafka中zookeeper为broker,producer和consumer提供一致的配置信息。在下面的讲解中我们将会具体展示。
生产过程
- produce会计算本条消息需要发送的partition。
- produce根据发送的分区,向zookeeper获取对应partition的leader信息,发送消息到leader所在的broker。
- leader在本地记录该消息。
- follower通过轮询监控到leader新写入消息,主动拉取消息。
- follower同步消息成功向leader发送ack。
- leader收到所有follower同步的消息,向producer发送确认ack。

消息写入保证不丢失
消息写入的基本过程是生产者向某一个partition的leader发送消息,leader写入本地文件(segment),同时同partition的follower通过轮询,拉取leader新写入的消息。
防止写入信息丢失的策略---ack机制
生产者将消息发送至该 partition leader。之后生产者会根据设置的 request.required.acks 参数不同,选择等待或或直接发送下一条消息。
request.required.acks = 0 表示 Producer 不等待来自 Leader 的 ACK 确认,直接发送下一条消息。在这种情况下,如果 Leader 分片所在服务器发生宕机,那么这些已经发送的数据会丢失。
request.required.acks = 1 表示 Producer 等待来自 Leader 的 ACK 确认,当收到确认后才发送下一条消息。在这种情况下,消息一定会被写入到 Leader 服务器,但并不保证 Follow 节点已经同步完成。所以如果在消息已经被写入 Leader 分片,但是还未同步到 Follower 节点,此时Leader 分片所在服务器宕机了,那么这条消息也就丢失了,无法被消费到。
request.required.acks = -1 表示 Producer 等待来自 Leader 和所有 Follower 的 ACK 确认之后,才发送下一条消息。在这种情况下,除非 Leader 节点和所有 Follower 节点都宕机了,否则不会发生消息的丢失。
防止写入信息丢失的策略---ISR(In-sync Replica)
leader会维护一个与其基本保持同步的Replica列表,该列表称为ISR(in-sync Replica),每个Partition都会有一个ISR,而且是由leader动态维护.如果一个flower比一个leader落后太多,或者超过一定时间未发起数据复制请求,则leader将其重ISR中移除,当ISR中所有Replica都向Leader发送ACK时,leader才commit。
Follower 发生故障后会被临时踢出 ISR 集合,待该 Follower 恢复后,Follower 会 读取本地磁盘记录的上次的 HW,并将 log 文件高于 HW 的部分截取掉,从 HW 开始向 Leader 进行同步数据操作。
生产端保证幂等性解决消息重复
幂等性是一个数学的概念,是指对于相同输入,同样的操作不管进行多少次,得到的结果都是相同的。在实际生产情况中,生产者有可能收不到来自broker的ack。这种情况会导致生产者重传消息,而对于broker来说,同样的消息已经写入到partition中,造成消息重复的问题。

kafka通过增加消息额外信息的方式来保证幂等性。在produce开始生产数据时,kafka会给它分配一个pid,生产者向kafka传输数据时会连同pid和消息的sequence(第几条消息)一同传输。这样通过判定pid和sequence(是否来自同一个生产者的相同编号的消息)来判断是否有重复发送消息的情况。
如图所示,当Producer发送消息(x2,y2)给Broker时,Broker接收到消息并将其追加到消息流中。此时,Broker返回Ack信号给Producer时,发生异常导致Producer接收Ack信号失败。对于Producer来说,会触发重试机制,将消息(x2,y2)再次发送,但是,由于引入了幂等性,在每条消息中附带了PID(ProducerID)和SequenceNumber。相同的PID和SequenceNumber发送给Broker,而之前Broker缓存过之前发送的相同的消息,那么在消息流中的消息就只有一条(x2,y2),不会出现重复发送的情况。
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论