kafka0.11.0.2安装 笔记

GitMaster
• 阅读 4380

一、kafka
1、下载

官网地址:http://kafka.apache.org/downloads
下载:wget http://mirrors.hust.edu.cn/apache/kafka/0.11.0.2/kafka_2.11-0.11.0.2.tgz

2、解压: tar -zxvf kafka_2.11-0.11.0.2.tgz

kafka0.11.0.2安装 笔记

3、修改配置文件

在config目录下,可以看到很多的配置文件,修改server.properties
broker.id=0 #每个kafka节点的唯一标识
listeners=PLAINTEXT://192.168.5.28:9092 #监听端口 
log.dirs=/data/kafka-logs #日志地址
zookeeper.connect=192.168.5.28:2181,192.168.5.29:2181,192.168.5.30:2181/kafka #zookeeper地址

提示:

kafka0.11.0.2安装 笔记

   zookeeper.connect=host:port默认存在zookeeper根目录,如果要存在特殊目录,需要添加chroot,如/kafka 其他所有使用--zookeeper

4、启动:./bin/kafka-server-start.sh config/server.properties 1>/dev/null 2>&1 &

5、测试命令
5.1 新建Topic

 ./bin/kafka-topics.sh --create --zookeeper 192.168.5.29:2181 --replication-factor 3 --partitions 1 --topic 30test

5.2 查看已存在Topic列表

./bin/kafka-topics.sh --list --zookeeper 192.168.5.28:2181,192.168.5.29:2181,192.168.5.30:2181

5.3 查看指定Topic状态

./bin/kafka-topics.sh --describe  --zookeeper 192.168.5.28:2181,192.168.5.29:2181,192.168.5.30:2181 --topic 247test

5.4 查看所有topic状态

 ./bin/kafka-topics.sh --describe  --zookeeper 192.168.5.28:2181,192.168.5.29:2181,192.168.5.30:2181

5.5 启动Consumer读取消息并输出到标准输出

./bin/kafka-console-consumer.sh  --zookeeper 192.168.5.28:2181,192.168.5.29:2181,192.168.5.30:2181 --from-beginning --topic 247test

5.6 写入数据 (--broker-list 不需要使用/kafka路径)

./bin/kafka-console-producer.sh --broker-list 192.168.5.28:9092 --topic 247test

5.7 删除topic (设置delete.topic.enable=true)

./bin/kafka-topics.sh --delete --zookeeper 192.168.5.28:2181,192.168.5.29:2181,192.168.5.30:2181 --topic 247test

二、kafka监控工具KafkaOffsetMonitor
1、下载:wget https://github.com/quantifind...
2、新建执行脚本:vim start.sh

脚本内容:(注意zk路径)
#!/bin/bash
java -cp KafkaOffsetMonitor-assembly-0.2.1.jar \
     com.quantifind.kafka.offsetapp.OffsetGetterWeb \
     --zk 192.168.5.28:2181,192.168.5.29:2181,192.168.5.30:2181/kafka \
     --port 8088 \
     --refresh 10.seconds \
     --retain 2.days

3、执行权限

chmod +x start.sh

4、启动

./start.sh 1>/dev/null 2>&1 &

注:页面默认使用的是ajax.googleapis.com的js库源,可能会下载失败,可修改index.html文件修改库源为国内库源。
kafka0.11.0.2安装 笔记

vim KafkaOffsetMonitor-assembly-0.2.1.jar  # 进入jar包
?offsetapp/index.html                      # 查找到index.html文件
Enter                                      # enter进入文件
修改为http://apps.bdimg.com/libs/angular.js/1.2.9/angular.js  # 编辑html文件
修改后保存退出即可。  
点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Wesley13 Wesley13
3年前
VSCode配置FiraCode和更纱黑体字体
!(https://oscimg.oschina.net/oscnet/c7bb62d935ceb01d3b7fe176322e84ae00d.png)Fira Code下载到FiraCode字体的GitHub(https://www.oschina.net/action/GoToLink?urlhttps%
Stella981 Stella981
3年前
Kafka集群环境配置
Kafka集群环境配置1环境准备1.1集群规划Node02Node03Node04zkzkzkkafkakafkakafka1.2jar包下载安装包:kafka\_2.110.8.2.1.tgz下载地址:http://kafka.apache.org/downl
Stella981 Stella981
3年前
Kafka安装教程(详细过程)
安装前期准备:1,准备三个节点(根据自己需求决定)2,三个节点上安装好zookeeper(也可以使用kafka自带的zookeeper)3,关闭防火墙chkconfig iptablesoff一、下载安装包Kafka官网下载安装包http://kafka.apache.org/downloads.html我们下载第二种(已
Stella981 Stella981
3年前
Kafka 配置安装
1.从官网下载安装包http://kafka.apache.org/downloads2.上传到01虚拟机,解压3.进入安装目录下的config目录4.对server.properties进行配置\root@hadoop01config\vimserver.properties配置示例:broker
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
PHP创建多级树型结构
<!lang:php<?php$areaarray(array('id'1,'pid'0,'name''中国'),array('id'5,'pid'0,'name''美国'),array('id'2,'pid'1,'name''吉林'),array('id'4,'pid'2,'n
Stella981 Stella981
3年前
KafKa集群安装、配置
一、事前准备   1.kafka官网:http://kafka.apache.org/downloads.   2.选择使用版本下载.   3.kafka集群环境准备:(linux)    192.168.145.129 主机名:kafka01    192.168.145
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
1年前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这
美凌格栋栋酱 美凌格栋栋酱
5个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(