1.架构第一步，Flume和Kakfa对接，Flume抓取日志，写到Kafka中第二部，SparkStreaming读取Kafka中的数据，进行实时分析本文首先使用Kakfa自带的消息处理（脚本）来获取消息，走通Flume和Kafka的对接2.安装flume,kafkaflumei

kafka参数配置详情：publicfinalBrokerHostshosts;//设置kafka从哪里获取相关的配置信息publicfinalStringtopic;//从哪个topic开始消费publicfinalStringclientId;//设置客户端标识publicintfetchSizeBytes10

Kafka的版本间差异较大，下面是0.8.1的操作方法首先cd到kafaka的bin目录下，操作kafka的工具都在这里呢。如果发现找不到，或者名字不对，说明kafka版本不对。以topic是test为例子zookeeper后的ip改成你们自己的创建topic./kafkatopics.shtopictestcreate

最近有些朋友问到Kafka消费者消费相关的问题，如下：!(https://oscimg.oschina.net/oscnet/c188fd31a02dcc863a92a61066297a4b7ff.png)以上问题看出来这位朋友刚接触Kafka，我们都知道Kafka相对RocketMQ来说，消费端是非常“原生”的，不像Rock

Kafka命令行工具1.查看Kafka现有的Topic1bin/kafkatopics.shzookeeperlocalhost:2181list2.查看Topic详情1bin/kafkatopics.shzo

一、Kafka简介Kafka是LinkedIn使用Scala开发的一个分布式消息中间件，它以水平扩展能力和高吞吐率著称，被广泛用于日志处理、ETL等应用场景。Kafka具有以下主要特点：\\消息的发布、订阅均具有高吞吐量：\\据统计数字表明，Kafka每秒可以生产约25万消息（50MB），每秒处理55万消息（110MB）。

在Kafka中一个分区日志其实就是一个备份日志，kafka利用多个相同备份日志来提高系统的可用性。这些备份日志其实就是所谓的副本。Kafka的副本具有leader副本和follower副本之分，leader副本为客户端提供读写请求，follower副本只是用于被动地从leader副本中同步数据，对外不提供读写服务。Kafka的所有节点所有副本假设都在

在Kafka中还有两个特别重要的概念—主题（Topic）与分区（Partition）。Kafka中的消息以主题为单位进行归类，生产者负责将消息发送到特定的主题（发送到Kafka集群中的每一条消息都要指定一个主题），而消费者负责订阅主题并进行消费。这里补充了对Kafka基本概念(https://www.oschina.net/action

生产者消息发送流程消息发送的整体流程，生产端主要由两个线程协调运行。分别是main线程和sender线程（发送线程）。在Kafka（2.6.0版本）源码中，可以看到。源码地址：kafka\clients\src\main\java\org.apache.kafka.clients.producer.KafkaProdu

快速搭建kafka服务