Stella981的头像 ID: 10708576052

Stella981

HelloWorld 社区成员

Stella981

文章16974
个人网站0
加入社区2026

Kafka producer使用注意

最近在测试kafka性能的时候特别对kafka的producer端进行了一些扩展,本想着针对多个业务开发多个producer进行并行的生产数据,并通过统一的线程池进行管理,结果在用jconsole进行观察的时候,发现线程数一路飙升。本以为一个简单的发送端程序却花了不少精力。造成线程上涨的主要原因是有两个线程对象不断的被创建,并且暂时无法销毁。一个叫sen

Kafka consumer poll(long)与poll(Duration)的区别

最近在StackOverflow(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fstackoverflow.com%2Fquestions%2F55858352%2Fkafkaconsumerassignmentreturnsempty)碰到的一个问题,即在consumer.po

Kafka broker配置介绍

这部分内容对了解系统和提高软件性能都有很大的帮助,kafka官网上也给出了比较详细的配置详单,但是我们还是直接从代码来看broker到底有哪些配置需要我们去了解的,配置都有英文注释,所以每一部分是干什么的就不翻译了,都能看懂:/LicensedtotheApacheSoftwareFoundation(ASF)u

Kafka auto.offset.reset值详解

昨天在写一个java消费kafka数据的实例,明明设置auto.offset.reset为earliest,但还是不从头开始消费,官网给出的含义太抽象了。 earliest:automaticallyresettheoffsettotheearliestoffset,自动将偏移量置为最早的。难道不是topic中各分区的开始?结果

Kafka Spout Offset存储在Zookeeper

KafkaSpoutOffset存储在Zookeeper,配置中需要单独指定SpoutConfig.zkPort和SpoutConfig.zkServers,否则无法生效。importjava.util.ArrayList;importjava.util.List;importorg.apache.stor

Kafka Producer端封装自定义消息

这篇文章主要讲kafkaproducer端的编程,通过一个应用案例来描述kafka在实际应用中的作用。如果你还没有搭建起kafka的开发环境,可以先参考:<kafka开发环境搭建(http://my.oschina.net/ielts0909/blog/95440)首先描述一下应用的情况:一个站内的搜索引擎,运营人员想知道某一时段,各类用户对商品

Kafka KSQL实战

点击上方蓝色字体,选择“设为星标”回复”资源“获取更多资源!(https://oscimg.oschina.net/oscnet/699b18ce178e867284af782c62736c77304.jpg)!(https://oscimg.oschina.net/oscnet/07b8458e9145deba8732

Kafka Java API获取非compacted topic总消息数

目前Kafka并没有提供直接的工具来帮助我们获取某个topic的当前总消息数,需要我们自行写程序来实现。下列代码可以实现这一功能,特此记录一下:/获取某个topic的当前消息数Java8only@paramtopic@

Kafka Exactly

!(https://oscimg.oschina.net/oscnet/0001a9db0c7346a6b32db4586329cae6.png)作者|王蒙整理|无风我起浪这篇文章主要讲述Kafka事务性的实现,这部分的实现要比幂等性的实现复杂一些,幂等性实现是事务性实现的基础,幂等性提供了单会话单Partiti

Kafka Consumer端的一些解惑

最近一直忙着各种设计和文档,终于有时间来更新一点儿关于kafka的东西。之前有一篇文章讲述的是kafkaProducer端的程序,也就是日志的生产者,这部分比较容易理解,业务系统将运行日志或者业务日志发送到broker中,由broker代为存储。那讲的是如何收集日志,今天要写的是如何获取日志,然后再做相关的处理。之前写过kafka是讲日志按照topic

Kafka Connect深度解读之单消息转换

KafkaConnect是ApacheKafka®的一部分,在Kafka和其它系统之间提供可靠的、可扩展的分布式流式集成。KafkaConnect具有可用于许多系统的连接器,它是一个配置驱动的工具,不需要编码。KafkaConnectAPI还提供了一个简单的接口,用于处理从源端通过数据管道到接收端的记录,该API称为单消息转换(SMT),顾

Kafka 2.1.0压缩算法性能测试

ApacheKafka2.1.0正式支持ZStandard——ZStandard是Facebook开源的压缩算法,旨在提供超高的压缩比(compressionratio),具体细节参见https://facebook.github.io/zstd/。本文对Kafka支持的这几种压缩算法(GZIP、Snappy、LZ4、ZStandard)做了一下基

Kafka 0.8的一些变化

之前分享了一个英文版的变化,一直没时间去翻译,今天上了下kafka的官网发现0.8的代码能下载了,更值得关注的是0.8的相关文档也更新上来了,上面的一些变化还是很可喜的,说明这套系统还是有很大的利用价值的。最重要的一个变化体现在一张图上:!(http://static.oschina.net/uploads/space/2013/0709/210

Kafka

1kafka是用于构建实时数据管道和流应用程序。具有横向扩展,容错wickedfast(变态快)等优点.kafka名词解释producer:消息和数据生产者,向kakfa的一个topic发布消息的过程叫做producerconsumers:消息和数据消费者,订阅topics并发处理其发布的消息的过程叫做consumertopic特指

KafKa集群安装、配置

一、事前准备   1.kafka官网:http://kafka.apache.org/downloads.   2.选择使用版本下载.   3.kafka集群环境准备:(linux)    192.168.145.129 主机名:kafka01    192.168.145

KVO的简单认识

KVO概念KVOkeyvalueobserver 键值观察监听对象属性变化的一种手段,可以用在开源框架,让代码解耦。例如:上拉、下拉刷新控件常见面试题KVO是同步的还是异步的?代码演练添加观察

KVM调整cpu和内存

一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid