Stella981 Stella981
2年前
Kafka源码剖析 —— 生产者消息追加中的优秀设计与大体流程
消息发送流程:!这里写图片描述(https://imgblog.csdn.net/20180905170801267?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FudXJub21lcnU/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA/disso
Wesley13 Wesley13
2年前
KAFKA报错:COMMIT CANNOT BE COMPLETED SINCE THE GROUP HAS ALREADY REBALANCED AND ASSIGNED THE PARTIT...
转载:https://www.greenhtml.com/archives/Commitcannotbecompletedsincethegrouphasalreadyrebalancedandassignedthepartitionstoanothermember.html(https://www.oschina.net
Stella981 Stella981
2年前
Spark2Streaming读Kerberos环境的Kafka并写数据到HBase
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在前面的文章Fayson介绍了在Kerberos环境下《Sp
Stella981 Stella981
2年前
ELK学习笔记之配置logstash消费kafka多个topic并分别生成索引
0x00 filebeat配置多个topicfilebeat.prospectors:input_type:logencoding:GB2312fields_under_root:truefields:添加字段
Stella981 Stella981
2年前
Spark Streaming StreamingContext详解+和Receiver详解+updateStateByKey+基于Direct的Kafka数据源
一.StreamingContext详解有两种创建StreamingContext的方式:valconfnewSparkConf().setAppName(appName).setMaster(master);valsscnewStreamingContext(conf,S
Stella981 Stella981
2年前
Kafka 异步消息也会阻塞?记一次 Dubbo 频繁超时排查过程
线上某服务A调用服务B接口完成一次交易,一次晚上的生产变更之后,系统监控发现服务B接口频繁超时,后续甚至返回线程池耗尽错误ThreadpoolisEXHAUSTED。因为服务B依赖外部接口,刚开始误以为外部接口延时导致,所以临时增加服务Bdubbo线程池线程数量。配置变更之后,重启服务,服务恢复正常。一段时间之后,服务B
Stella981 Stella981
2年前
FLINK 1.12 支持upsertSql 不再去使用了JDBCUpsertSINK了,kafka也支持upsert了
packagecom.konka.dsp;importorg.apache.flink.api.common.JobExecutionResult;importorg.apache.flink.api.common.restartstrategy.RestartStrategies;import
Stella981 Stella981
2年前
Kafka生产者哪些重要的参数是我们需要注意的?
在KafkaProducer中大部分的参数都有合理的默认值,一般不需要修改它们。不过了解这些参数可以让我们更合理地使用生产者客户端,其中还有一些重要的参数涉及程序的可用性和性能,如果能够熟练掌握它们,也可以让我们在编写相关的程序时能够更好地进行性能调优与故障排查。下面挑选一些重要的参数进行讲解。1\.acks这个参数用来指定分区中必须要
Stella981 Stella981
2年前
Spark2Streaming读Kerberos环境的Kafka并写数据到HDFS
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在前面的文章Fayson介
Stella981 Stella981
2年前
Kafka多线程消费消息创建线程池并封装成Jar包
XML及属性配置1.业务处理(kiafka.worker.xml)<?xmlversion"1.0"encoding"UTF8"?<root<topics<!name:要消费的topic;<!worker:执行消费逻辑的worker,配置值为执行的类