文章
Kafka导致重复消费原因和解决方案
问题分析导致kafka的重复消费问题原因在于,已经消费了数据,但是offset没来得及提交(比如Kafka没有或者不知道该数据已经被消费)。总结以下场景导致Kakfa重复消费:原因1:强行kill线程,导致消费后的数据,offset没有提交(消费系统宕机、重启等)。原
Kafka扩容之分区扩容
分区扩容<blockquote举例,主题“user_order”目前是1个分区,这里将该主题分区增加到6个,观察修改结果</blockquote<pre<codekafkatopics.shpartitions6alterzookeeperdn1
基于Greenplum+Kafka的实时数据处理
<blockquote<strong获得Greenplum更多干货内容,欢迎前往<ahref"https://link.segmentfault.com/?enc3k1L5VI9Co4Wlf3mfSSJmQ%3D%3D.w9NMXwJ2tKAX%2BTvmCHwkG%2BVk5WuLE6%
KoP 正式开源:在 Apache Pulsar 上支持原生 Kafka 协议
!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/fb5e04770bd464719884e01049bef9da.png)我们很高兴地宣布StreamNative和OVHcloud开源了“KoP“(Kafkao
基础科普!一文带你了争Kafka基本原理
!timg2.jpg(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/c61be0da9b11175e1f4474415d2bc1e7.png)<blockquote<em来源:阿凡卢,</em<br/<emww
kafka 系列 -- 1、基本概念
前言思考的过程往往比直接得到结论更加重要kafka应用场景应用监控网站用户行为追踪流数据持久性日志基本概念在说基本概念前,先看一下kafka的系统架构!image.png(https://imghellowor
kafka研究学习-1: 阿里云安装配置kafka, 本地windows10代码访问
假定阿里云外网ip为:<code123.123.123.123</code假定阿里云内网ip为:<code172.172.172.172</code1.zookeeper配置文件zoo.cfg(无特别注意事项)<codecatconf/zoo.cfg|
惊艳阿里面试官?——掌握RocketMQ与Kafka中如何实现事务
<pre<code文末有惊喜!</code</preRocketMQ的事务是如何实现的?首先我们来看RocketMQ的事务。我在之前的课程中,已经给大家讲解过RocketMQ事务的大致流程,这里我们再一起通过代码,重温一下这个流程。<pre<code//
Canal-Admin 集群环境配置及踩坑实录
集群配置<codecanaladmin</code的安装不再累述,可翻看之前文章,本文主要记录<codecanaladmin</code集群环境的配置和踩坑记录新建集群填写<codezk</code的集群信息!image.png(https://i
kafka真实环境部署规划(转载)
kafka真实环境部署规划1.操作系统选型因为kafka服务端代码是Scala语言开发的,因此属于JVM系的大数据框架,目前部署最多的3类操作系统主要由Linux,OSX和Windows,但是部署在Linux数量最多,为什么呢?因为I/O模型的使用和数据网络传输效
已加载文章中没有匹配内容,试试其他关键词或清空搜索。