文章
Kafka: Producer (0.10.0.0)
ProducerAPI入门<pre<codeProducerRecord说明</code</pre异步发送流程<pre<code2.1用户线程调用send将record压缩到BufferPool中2.2发送调度</code</
Kafka入坑指南
Kafka是为大数据而生的消息中间件,以其百万级TPS的吞吐量名声大噪,迅速成为大数据领域的宠儿,在数据采集、传输、存储的过程中发挥着举足轻重的作用,而Storm,Spark,Flink等大数据流处理或批处理平台都有Kafka的相关插件支持。本着为开源做贡献的原则,在学习Kafka的同时也参与了Ka
Kafka Log Compaction 解析
最近查看Kafka文档,发现Kafka有个LogCompaction(https://link.segmentfault.com/?encHKCRK1Y4tWFFbPHT6MM0XQ%3D%3D.vrmDlcxxaXTy1Gz8X%2FxN5PymCLST8H9XHl4bgB1WNd
消费kafka0.10简单实例
简介kafka0.10,消费topic的话,可以不用知道zk的地址,只要broker的地址即可maven<pre<code<dependency><groupId>org.apache.kafka&
kafkaoffsetmonitor监控配置步骤
本篇文章主要是介绍kafkaoffsetmonitor的配置步骤一、下载kafkaoffsetmonitor的jar包,可以到github搜索kafkaoffsetmonitor,第一个就是,里面可以下载编译好了的包。KafkaOffsetMonitorassembly0.2.1.jar
JMXtrans + InfluxDB + Grafana实现Kafka性能指标监控
架构一般系统监控通常分为3部分:数据采集分析与转换展现(可视化)数据采集对于前端应用,一般需要埋点,对用户的行为进行记录。如果不埋点,则需要通过Pagespeed、PhantomJS这样的工具去模拟用户行为进行测试。后端的系统通常有自己的
Kafka消息存储之FileMessageSet
摘要看过前面几篇博客的盆友可能会问,逼逼了这么多还不知道消息到底存到哪儿了,分明标题党嘛。这一次我们就来看与存储切实相关的底层操作类FileMessageSet。它是MessageSet的一个子类,操作消息和文件之间的读写操作。想想我们也知道,这特么就是要写增删改查啊。这一次的代码确实
Kafka消息存储之MessageWriter
摘要MessageWriter是Kafka进行消息写的工具类,这一部分代码倒是和整个系统设计没有多大关系,但是从局部来看,有许多有意思的细节,所以也开一篇短博客来讲一讲。MessageWriter的设计意图首先让我们列出在消息写的过程中可能出现的变化情况,也就是这个
Kafka消息存储之ByteBufferMessageSet
摘要MessageSet是Kafka在底层操作message非常重要的一个层级概念,从名称上可以看出来它是消息的集合体,但是代码中的处理逻辑更多的是在考虑到嵌套消息的处理问题。MessageSet的主要功能是提供Message的顺序读和批量写,操作的基本对象是MessageAndOff
Kafka消息存储概览
摘要Kafka作为一个消息中间件系统,面临的首要问题就是消息如何持久化,如何方便地进行读写和解析。本文将就Kafka的消息存储问题开一个头,后续将会对重要的代码部分一一讲解。Kafka的消息概念,首先我们在此谈论的不是网络传递中的消息,而更多偏向于记录的意思,也就是消费者和生产者所在意
已加载文章中没有匹配内容,试试其他关键词或清空搜索。