62.Kafka消息队列订阅发布

参考文档

http://kafka.apachecn.org/

https://www.cnblogs.com/linjiqin/p/11950758.html

https://blog.csdn.net/dayonglove2018/article/details/106925513

https://blog.csdn.net/valada/article/details/80892612

https://www.jianshu.com/p/18d03c6b2931

https://blog.csdn.net/m0\_37867405/article/details/80944125

https://blog.csdn.net/godloveayuan/article/details/107361601

https://www.cnblogs.com/listenfwind/p/12465409.html

https://www.jianshu.com/p/23c678e39162

概念

简介

Kafka有四个核心的API:

  1. The Producer API 允许一个应用程序发布一串流式的数据到一个或者多个Kafka topic.

  2. The Consumer API 允许一个应用程序订阅一个或多个 topic,并且对发布给他们的流式数据进行处理.

  3. The Streams API 允许一个应用程序作为一个流处理器,消费一个或者多个topic产生的输入流,然后生产一个输出流到一个或多个topic中去,在输入输出流中进行有效的转换.

  4. The Connector API 允许构建并运行可重用的生产者或者消费者,将Kafka topics连接到已存在的应用程序或者数据系统.比如,连接到一个关系型数据库,捕捉表(table)的所有变更内容.

zookeeper

kafka的发送与接收

发送:kafka的发送程序(代码)会指定broker服务地址,那么消息的发送会直接发送到broker提供的地址中.

如果地址是列表(指定了多个broker地址),那么则随机选择一个可用的发送.接收到消息的kafka机器会向zookeeper查询拥有该topic下partition决定权(leader)的机器,然后由该leader选择机器存储数据,最终存储数据.

接收:kafka的接收会指定zookeeper地址,那么接收到消费任务的zookeeper将任务报告给该topic下partition的leader,由该leader指定follower完成数据的获取并返回.

一个典型的 Kafka 体系架构包括若干 Producer(消息生产者),若干 broker(作为 Kafka 节点的服务器),若干 Consumer(Group),以及一个 ZooKeeper 集群.Kafka通过 ZooKeeper 管理集群配置.选举 Leader 以及在 consumer group 发生变化时进行 Rebalance(即消费者负载均衡,在下一课介绍).Producer 使用 push(推)模式将消息发布到 broker,Consumer 使用 pull(拉)模式从 broker 订阅并消费消息.

Kafka安全认证SASL/PLAIN,并和springBoot整合

修改kafka启动配置文件server.properties

cd /usr/local/etc/kafka

# 设置broker的唯一标识(集群唯一随便设置).

cd /usr/local/opt/修改启动文件

config添加kafka_server_jaas.conf 文件

vi kafka_server_jaas.conf

username/password是给kafka brokers之间作为client初始请求连接访问使用的,会被作为server的broker验证.

user_kafkaadmin这个就是1中提到的连接访问请求验证信息,所以这条是必须的.

user_kafkaclient1/user_kafkaclient2定义了kafka的client,其值就是密码.

Client是把kafka作为client端,访问zookeeper(作为server端)的时候用的.对应的必须在zookeeper里面做相应的配置.

kafka-server-start.sh添加

cd /usr/local/opt/kafka/libexec/bin

添加zookeeper_jaas.conf

cd /usr/local/etc/kafka

user_zooclient这个用户就是前面kafka_server_jaas.conf里面的Client信息;
这样就对上了:这两个用户名和密码必须一致,作为kafka client和zookeeper server之间认证使用.

zookeeper-server-start.sh添加

cd /usr/local/opt/kafka/libexec/bin

修改brew services 启动文件

cd /usr/local/opt/zookeeper

<string>/usr/local/opt/kafka/bin/zookeeper-server-start</string>

直接启动,观察是否有错误

分别启动各个kafka,指定自定义的配置文件,先不要后端启动,观察,日志有没有出错

cd /usr/local/opt/kafka/libexec/

安装中遇见的问题

  1. 出现The valid options based on currently configured listeners are PLAINTEXT

查看变红处listeners=SASL_PLAINTEXT://localhost:9092

  1. 配置错误

    KafkaServer{

逗号的问题

springboot整合

生产者yml中配置

kafka:

消费者yaml配置

kafka:

更新

kafka更新主要配置的更改

zookeeper可以直接更新而无需其他操作

主题与分区

主题.分区与副本

主题(Topic):

Kafka中的消息以主题为单位进行归类,生产者负责将消息发送到特定的主题,而消费者负责订阅主题进行消费;

分区(Partition):

主题可以分为多个分区,一个分区只属于单个主题;

同一主题下的不同分区包含的消息不同(即,发送给主题的消息具体是发送到某一个分区);

消息被追加到分区日志文件的时候,会分配一个特定的偏移量(offset),offset是消息在分区中的唯一标识,Kafka通过它来保证消息在分区的顺序性; offset不跨分区,也就是说Kafka保证的是分区有序而不是主题有序;

副本(Replia):

Kafka为分区引入了多副本机制,通过增加副本数量可以提升容灾能力.

同一个分区的不同副本之间保存的是相同的消息;副本之间是一主多从的关系,其中leader副本负责处理读写请求;follower副本只负责与leader副本的消息同步;

副本处于不同的broker中,当leader副本出现故障时,从follower副本重新选举新的leader副本对外提供服务.

Kafka通过多副本机制实现了故障的自动转移;

多分区与多副本机制

主题和分区是逻辑结构,一个副本对应一个存储消息的日志文件;

分区的多个副本分布在不同的broker上,所以主题和分区都是横跨broker的;

一个主题下对应多个分区,通过增加分区数量可以实现水平扩展,提高性能;

一个分区下有多个副本,通过多副本机制提升容灾能力;

主题正则表达式

topicPattern 为正则表达式主题配置

例子:@KafkaListener(topicPattern = "handle_diag_udsReadDid_.*")

消费者群组

为什么kafka的消费者要有分组的概念

通常一个分区由一个消费者消费,或者说由一个组中的一个消费.

有一种情况,分区数多,且只有一个消费者时,分组的话,消息会被组中唯一一个消费者线性消费,不会发生争抢.因为消息能被组中一个消费者线性消费.

不分组的话会消息都会被消费者拉过去.

删除topic

真删除

server.properties配置delete.topic.enable=true

本文作者:Mr丶Ant (目前单身)

源码样式不太友好,影响阅读体验,建议访问原文地址或者点击 [阅读原文]

https://www.jiagou.com/post/61-make-cross-rpm

本文分享自微信公众号 - 架构经验(gh_1e5343e31369)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

评论

暂无评论