躬行系列-Kafka集群部署

CodeNebulaStrider
• 阅读 1007

版本选择

kafka_2.12-0.11.0.3
版本号说明:kafka使用Scala开发的,前面的2.12是Scala的版本号,后面的才是kafka的版本号。
0.11的版本,已经是kafka比较完善的一个版本了,后面新版都是对streaming的各种增强。如果仅用作消息队列,那么用0.11版本即可。

下载地址

https://archive.apache.org/di...

部署细节

下载、上传、解压缩等过程省略。
主要的配置文件就是:/config/server.properties
关键配置:

#broker id必须全局唯一
broker.id=0
#log的位置就是实际数据存储的位置
log.dirs=/usr/local/kafka_2.12-0.11.0.3/data
#开启删除topic的功能
delete.topic.enable=true
#zookeeper集群配置
zookeeper.connect=192.168.1.73:2181,192.168.1.52:2181,192.168.1.102:2181

常用命令

启动:./kafka-server-start.sh -daemon ../config/server.properties
停止:./kafka-server-stop.sh stop

2021-08-29(注)

经实测,本机安装的openjdk11,kafka0.11版本不支持。
本人更换为jdk1.8后恢复正常。
大家也可以选择更新的kafka版本来使用,就不需要更换jdk了。

2021-09-13(注)

java客户端要连接kafka,还需要额外修改两个配置,添加本地内外网ip的监听,才能让客户端正常连接kafka。

# The address the socket server listens on. It will get the value returned from 
# java.net.InetAddress.getCanonicalHostName() if not configured.
#   FORMAT:
#     listeners = listener_name://host_name:port
#   EXAMPLE:
#     listeners = PLAINTEXT://your.host.name:9092
listeners=PLAINTEXT://本机内网ip:9092

# Hostname and port the broker will advertise to producers and consumers. If not set, 
# it uses the value for "listeners" if configured.  Otherwise, it will use the value
# returned from java.net.InetAddress.getCanonicalHostName().
advertised.listeners=PLAINTEXT://本机外网ip(如果有):9092
点赞
收藏
评论区
推荐文章
Stella981 Stella981
4年前
Kafka 入门和 Spring Boot 集成
Kafka入门和SpringBoot集成概述kafka是一个高性能的消息队列,也是一个分布式流处理平台(这里的流指的是数据流)。由java和Scala语言编写,最早由LinkedIn开发,并2011年开源,现在由Apache开发维护。应用场景下面列举了
Stella981 Stella981
4年前
Kafka源码阅读环境搭建
kafka主要是由scala写,其源码质量高,考虑到新版本提交人员的水平高低不同,对阅读源码不太好,因此选择早期的0.10.1版本。下面记录一下搭建kafka源码阅读环境,后面使用。搭建的基本环境:OS:Mac(10.12.x);JDK:1.8.0\_191;ScalaJDK:2.11.7;Gradle:4.8.1安装sca
Stella981 Stella981
4年前
Kafka数据迁移MaxCompute最佳实践
前提条件搭建Kafka集群进行数据迁移前,您需要保证自己的Kafka集群环境正常。本文使用阿里云EMR服务自动化搭建Kafka集群,详细过程请参见:Kafka快速入门。本文使用的EMRKafka版本信息如下:EMR版本:EMR3.12.1集群类型:Kafka软件信息:Ganglia3.7.2ZooKeeper
Stella981 Stella981
4年前
Kafka常用操作
Kafka的版本间差异较大,下面是0.8.1的操作方法首先cd到kafaka的bin目录下,操作kafka的工具都在这里呢。如果发现找不到,或者名字不对,说明kafka版本不对。以topic是test为例子zookeeper后的ip改成你们自己的创建topic./kafkatopics.shtopictestcreate
Stella981 Stella981
4年前
Kafka初入门简单配置与使用
一Kafka概述1.1Kafka是什么在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。1)ApacheKafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2)Kafka最初是由LinkedIn开发
Stella981 Stella981
4年前
KafKa集群安装、配置
一、事前准备   1.kafka官网:http://kafka.apache.org/downloads.   2.选择使用版本下载.   3.kafka集群环境准备:(linux)    192.168.145.129 主机名:kafka01    192.168.145
Wesley13 Wesley13
4年前
flume高并发优化——(15)中间件版本升级
在系统平稳运行一年的基础上,为提供更好的服务,现针对java,kafka,flume,zk,统一进行版本升级,请各位小伙伴跟着走起来,不要掉队啊!名称老版本号新版本号jdk1.7.0\_251.8.0kafka2.100.8.0.12.100.10.2.1flume1.6.01.7.0zookeeper
Stella981 Stella981
4年前
Kafka笔记
第1章Kafka简介1.1kafka起源Kafka是由LinkedIn开发并开源的分布式消息系统,2012年捐赠给Apache基金会,采用Scala语言,运行在JVM中,最新版本1.0.0。1.2kafka设计目标Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:①以时间复杂度O(1)的方式提供消息持久化能力,即
Wesley13 Wesley13
4年前
Java版Kafka使用及配置解释
Java版Kafka使用及配置解释一.Java示例kafka是吞吐量巨大的一个消息系统,它是用scala写的,和普通的消息的生产消费还有所不同,写了个demo程序供大家参考。kafka的安装请参考官方文档。引入Maven库首先我们需要新建一个maven项目,然后在pom中
Stella981 Stella981
4年前
Kafka01
Kafka之生产者入门前言:  Kafka诞生至今,产生两个版本的生产者客户端:1是早期基于scala语言编写的客户端;2是随着Java用户的广泛涌入,kafka0.9版本开始退出Java版本的客户端;  一个基本生产者producer逻辑需要具备以下基本条件:配置Producer,创建生产者实例;
Kafka核心逻辑介绍 | 京东云技术团队
1、概念Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica)分布式消息系统(kafka2.8.0版本之后接触了对zk的依赖,使用自己的kRaft做集群管理,新增内部主体@metadata存储
CodeNebulaStrider
CodeNebulaStrider
Lv1
巴山楚水凄凉地,二十三年弃置身。
文章
4
粉丝
0
获赞
0