Kafka 集群安装

Stella981
• 阅读 622

Kafka 集群安装

  环境:

    Linux 7.X

    kafka_2.x

   在linux操作系统中,kafka安装在 /u04/app目录中

  1. 下载

    # wget https://mirrors.cnnic.cn/apache/kafka/2.1.1/kafka\_2.11-2.1.1.tgz

  2. 解压 & 重命令 & copy

    # tar -zxf kafka_2.11-2.1.1.tgz -C /u04/app

cd /u04/app/

mv kafka_2.11-2.1.1 kafka01

cp -a kafka01 kafka02

cp -a kafka01 kafka03

  3. 创建kafka数据目录.

    # mkdir ./kafka01/datas

mkdir ./kafka02/datas

mkdir ./kafka03/datas

  4. 修改配置文件(此处以kafka01配置修改,02、03的配置修改操作步骤一样.)

    # cd ./kafka01/config

vim server.properties

    4.1 修改broker编号

      broker.id=1 (第1个kafka配置文件中修改为1)

      broker.id=2 (第2个kafka配置文件中修改为2)

      broker.id=3 (第3个kafka置文件中修改为3)

    4.2 修改数据目录

      log.dir=/u04/app/kafka01/datas

    4.3 修改了zookeeper链接地址

      zookeeper.connect=192.168.43.145:2181,192.168.43.145:2182,192.168.43.145:2183

    4.4 修改备份因子配置:

      default.replication.factor=2

    4.5 配置检查IP和端口.

      listeners=PLAINTEXT://192.168.43.145:9091(第1个kafka配置文件)

      listeners=PLAINTEXT://192.168.43.145:9092(第2个kafka配置文件)

      listeners=PLAINTEXT://192.168.43.145:9093(第3个kafka配置文件)

  5. 启动kafka (此处以kafka01进行启动,02、03的启动时一样的.)

cd /u04/app/kafka01/bin

nohup sh kafka-server-start.sh ./../config/server.properties &

    注意:

      在启动时候,需要先启动zookeeper,zookeeper的安装参见:《Zookeeper 集群安装

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
京东面试真题解析,手撕面试官
第1章快速入门1.1Kafka简介1.2以Kafka为中心的解决方案1.3Kafka核心概念1.4Kafka源码环境第2章生产者2.1KafkaProducer使用示例2.2KafkaProducer分析ProducerInterceptors&cProducerInterceptorKafka集群元数据Serializ
Stella981 Stella981
2年前
Kafka集群环境配置
Kafka集群环境配置1环境准备1.1集群规划Node02Node03Node04zkzkzkkafkakafkakafka1.2jar包下载安装包:kafka\_2.110.8.2.1.tgz下载地址:http://kafka.apache.org/downl
Stella981 Stella981
2年前
Kafka数据迁移MaxCompute最佳实践
前提条件搭建Kafka集群进行数据迁移前,您需要保证自己的Kafka集群环境正常。本文使用阿里云EMR服务自动化搭建Kafka集群,详细过程请参见:Kafka快速入门。本文使用的EMRKafka版本信息如下:EMR版本:EMR3.12.1集群类型:Kafka软件信息:Ganglia3.7.2ZooKeeper
Stella981 Stella981
2年前
Kafka初入门简单配置与使用
一Kafka概述1.1Kafka是什么在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。1)ApacheKafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2)Kafka最初是由LinkedIn开发
Stella981 Stella981
2年前
KafKa集群安装、配置
一、事前准备   1.kafka官网:http://kafka.apache.org/downloads.   2.选择使用版本下载.   3.kafka集群环境准备:(linux)    192.168.145.129 主机名:kafka01    192.168.145
Stella981 Stella981
2年前
FusionInsight大数据开发
Kafka应用开发1.了解Kafka应用开发适用场景2.熟悉Kafka应用开发流程3.熟悉并使用Kafka常用API4.进行Kafka应用开发Kafka的定义Kafka是一个高吞吐、分布式、基于发布订阅的消息系统Kafka有如下几个特点:1.高吞吐量2.消息持久化到磁
Stella981 Stella981
2年前
Kafka配置文件
服务基本设置Theidofthebroker.Thismustbesettoauniqueintegerforeachbroker.kafka集群分组ID
胖大海 胖大海
1年前
Centos7 kafka安装与配置
前言,我这边使用的3A服务器centos7.9系统里进行操作的,使用kafka需要安装JDK,zookeeper一:从官网下载安装包http://archive.apache.org/dist/kafka/二:安装和配置kafka1.解压kafka压缩包并放到/usr/local下tarxzfkafka2.100.8.1.1.tar.gz2.配置serv
Python进阶者 Python进阶者
3个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这