文章
Kafka producer使用注意
最近在测试kafka性能的时候特别对kafka的producer端进行了一些扩展,本想着针对多个业务开发多个producer进行并行的生产数据,并通过统一的线程池进行管理,结果在用jconsole进行观察的时候,发现线程数一路飙升。本以为一个简单的发送端程序却花了不少精力。造成线程上涨的主要原因是有两个线程对象不断的被创建,并且暂时无法销毁。一个叫sen
Kafka consumer poll(long)与poll(Duration)的区别
最近在StackOverflow(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fstackoverflow.com%2Fquestions%2F55858352%2Fkafkaconsumerassignmentreturnsempty)碰到的一个问题,即在consumer.po
Kafka broker配置介绍
这部分内容对了解系统和提高软件性能都有很大的帮助,kafka官网上也给出了比较详细的配置详单,但是我们还是直接从代码来看broker到底有哪些配置需要我们去了解的,配置都有英文注释,所以每一部分是干什么的就不翻译了,都能看懂:/LicensedtotheApacheSoftwareFoundation(ASF)u
Kafka auto.offset.reset值详解
昨天在写一个java消费kafka数据的实例,明明设置auto.offset.reset为earliest,但还是不从头开始消费,官网给出的含义太抽象了。 earliest:automaticallyresettheoffsettotheearliestoffset,自动将偏移量置为最早的。难道不是topic中各分区的开始?结果
Kafka Shell基本命令(包括topic的增删改查)
创建kafkatopic(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.cnblogs.com%2Fxiaodf%2Fp%2F6093261.html%231)查看所有topic列表(https://www.oschina.net/action/GoTo
Kafka Producer端封装自定义消息
这篇文章主要讲kafkaproducer端的编程,通过一个应用案例来描述kafka在实际应用中的作用。如果你还没有搭建起kafka的开发环境,可以先参考:<kafka开发环境搭建(http://my.oschina.net/ielts0909/blog/95440)首先描述一下应用的情况:一个站内的搜索引擎,运营人员想知道某一时段,各类用户对商品
Kafka KSQL实战
点击上方蓝色字体,选择“设为星标”回复”资源“获取更多资源!(https://oscimg.oschina.net/oscnet/699b18ce178e867284af782c62736c77304.jpg)!(https://oscimg.oschina.net/oscnet/07b8458e9145deba8732
Kafka Java API获取非compacted topic总消息数
目前Kafka并没有提供直接的工具来帮助我们获取某个topic的当前总消息数,需要我们自行写程序来实现。下列代码可以实现这一功能,特此记录一下:/获取某个topic的当前消息数Java8only@paramtopic@
Kafka Exactly
!(https://oscimg.oschina.net/oscnet/0001a9db0c7346a6b32db4586329cae6.png)作者|王蒙整理|无风我起浪这篇文章主要讲述Kafka事务性的实现,这部分的实现要比幂等性的实现复杂一些,幂等性实现是事务性实现的基础,幂等性提供了单会话单Partiti
Kafka Consumer端的一些解惑
最近一直忙着各种设计和文档,终于有时间来更新一点儿关于kafka的东西。之前有一篇文章讲述的是kafkaProducer端的程序,也就是日志的生产者,这部分比较容易理解,业务系统将运行日志或者业务日志发送到broker中,由broker代为存储。那讲的是如何收集日志,今天要写的是如何获取日志,然后再做相关的处理。之前写过kafka是讲日志按照topic
已加载文章中没有匹配内容,试试其他关键词或清空搜索。