作为一名程序员我不忘初心,复习指南
01kafka入门1.1什么是kafka 1.2kafka中的基本概念  1.2.1消息和批次  1.2.2主题和分区  1.2.3生产者和消费者、偏移量、消费者群组  1.2.4Broker和集群  1.2.5保留消息02为什么选择kafka2.1优点 2.2常见场景  2.2.1活动跟踪  2.2.2传递
Easter79 Easter79
2年前
storm 一直报错:Got fetch request with offset out of range
1.jstorm一直刷如下错误消息:15:43:07.952kafka:5SingleThreadSpoutExecutorsWARNstorm.kafka.KafkaUtilsGotfetchrequestwithoffsetoutofrange:22;retryingwithd
Stella981 Stella981
2年前
Kafka集群环境配置
Kafka集群环境配置1环境准备1.1集群规划Node02Node03Node04zkzkzkkafkakafkakafka1.2jar包下载安装包:kafka\_2.110.8.2.1.tgz下载地址:http://kafka.apache.org/downl
可莉 可莉
2年前
10 道 Kafka 基础面试,不看答案你会几道题
写在前面这次给大家分享的是Kafka的10道面试题,就难度我觉得是比较基础的,但考的知识点还比较全面,可以用来考察自己掌握Kafka基础的程度。1\.Kafka是什么?Kafka起初是一个多分区、多副本且基于ZooKeeper协调的分布式消息系统,现已被定位为一个分布
Easter79 Easter79
2年前
Spring中Bean的关闭与资源释放
缘起项目中需要用到kafka,公司的messagequeuesdk中已经封装了kafka的使用,在xml文件中进行配置就可以方便使用。但由于sdk的强依赖的问题,假如kafka链接失败会导致应用无法启动。所以就只能放弃sdk转为操作底层api操作kafka的启动监听以及关闭。在使用的过程遇到了启动空指针以及关闭时TransactionMan
Stella981 Stella981
2年前
Kafka+Zookeeper+Filebeat+ELK 搭建日志收集系统
ELKELK目前主流的一种日志系统,过多的就不多介绍了Filebeat收集日志,将收集的日志输出到kafka,避免网络问题丢失信息kafka接收到日志消息后直接消费到LogstashLogstash将从kafka中的日志发往elasticsearchKibana对elasticsearch中的日志数
Stella981 Stella981
2年前
Kafka如何通过精妙的架构设计优化JVM GC问题
目录1、Kafka的客户端缓冲机制2、内存缓冲造成的频繁GC问题3、Kafka设计者实现的缓冲池机制4、总结一下“这篇文章,同样给大家聊一个硬核的技术知识,我们通过Kafka内核源码中的一些设计思想,来看你设计Kafka架构的技术大牛,是怎么优化JVM的GC问题的?1、Kafk
Wesley13 Wesley13
2年前
JavaWeb项目架构之Kafka分布式日志队列
架构、分布式、日志队列,标题自己都看着唬人,其实就是一个日志收集的功能,只不过中间加了一个Kafka做消息队列罢了。!(https://images2017.cnblogs.com/blog/109211/201802/109211201802061533201231622886397.png)kafka介绍Kafka是由
Stella981 Stella981
2年前
Kafka连接器之在2.3版本中的改进
在Kafka的2.3版本中,对Kafka连接器做了很大的改进。首先就是在添加和删除连接器时,修改了Kafka连接器处理任务的方式。之前这个动作造成了整个系统的停顿,这是一直被开发和运维人员诟病的地方,除此之外,社区中频繁提到的其他一些问题,也得到了解决。Kafka连接器中的增量协作再平衡Kafka连接器集群由一个或
胖大海 胖大海
1年前
Centos7 kafka安装与配置
前言,我这边使用的3A服务器centos7.9系统里进行操作的,使用kafka需要安装JDK,zookeeper一:从官网下载安装包http://archive.apache.org/dist/kafka/二:安装和配置kafka1.解压kafka压缩包并放到/usr/local下tarxzfkafka2.100.8.1.1.tar.gz2.配置serv