Stella981的头像 ID: 10708576052

Stella981

HelloWorld 社区成员

Stella981

文章16974
个人网站0
加入社区2026

Kafka 架构分析(1)

本次kafka相关分析总结,以apachekafka为准。地址:http://kafka.apache.org/documentation/(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fkafka.apache.org%2Fdocumentation%2F)中文文档地址:h

Kafka 最佳实践

这是一篇关于Kafka实践的文章,内容来自DataWorksSummit/HadoopSummit(HadoopSummit)上的一篇分享,里面讲述了很多关于Kafka配置、监控、优化的内容,绝对是在实践中总结出的精华,有很大的借鉴参考意义,本文主要是根据PPT的内容进行翻译及适当补充。Kafka的架构这里就不多做介绍了,直接步入正

Kafka 是怎么存储的?为什么速度那么快?

文章收录地址:JavaBang(https://gitee.com/iByteCoding/JavaBang/tree/master/%E7%B2%BE%E9%80%89%E6%8A%80%E6%9C%AF%E4%B8%93%E6%A0%8F/Kafka%E6%A0%B8%E5%BF%83%E5%8E%9F%E7%90%86) 专注于系统架构、

Kafka 异步消息也会阻塞?记一次 Dubbo 频繁超时排查过程

线上某服务A调用服务B接口完成一次交易,一次晚上的生产变更之后,系统监控发现服务B接口频繁超时,后续甚至返回线程池耗尽错误ThreadpoolisEXHAUSTED。因为服务B依赖外部接口,刚开始误以为外部接口延时导致,所以临时增加服务Bdubbo线程池线程数量。配置变更之后,重启服务,服务恢复正常。一段时间之后,服务B

Kafka 常用脚本与配置

脚本作用kafkaserverstart.shkafka启动kafkaserverstop.shkafka停止kafkatopics.sh查看创建删除topickafkaconsoleconsumer.sh消费者操作,例如监听topickafkaconsoleproducer.sh生产者操作,例如

Kafka 已落伍,转角遇见 Pulsar!

自LinkedIn2011年创建了ApacheKafka后,这款消息系统一度成为大规模消息系统的唯一选择。为什么呢?因为这些消息系统每天需要传递数百万条消息,消息规模确实很庞大(2018年Twitter推文平均每天500万条,用户数平均每天为1亿)。那时,我们没有MOM系统来处理基于大量订阅的流数据能力。所以,很多大牌公司,像

Kafka 和 RocketMQ 之性能对比

在双十一过程中投入同样的硬件资源,Kafka搭建的日志集群单个Topic可以达到几百万的TPS,而使用RocketMQ组件的核心业务集群,集群TPS只能达到几十万TPS,这样的现象激发了我对两者性能方面的思考。温馨提示:TPS只是众多性能指标中的一个,我们在做技术选型方面要从多方面考虑,本文并不打算就消息中间件选型方面投入太多笔墨,重点想尝试剖析两

Kafka 和 DistributedLog 技术对比

因为两者都是处理日志,数据模型也类似,所以这篇文章主要从技术角度讨论ApacheKafka与DistributedLog的不同点。我们会尽量做到客观,但由于我们不是ApacheKafka的专家,因此我们可能会对ApacheKafka存在误解。如果发现有错,也请大家直接指出。首先,让我们简单地介绍一下Kafka和Distribu

Kafka 可视化监控和管理 UI工具评估

以下内容,来自网络资料整理和个人安装使用结果。后续会持续更新!双击查看大图(https://img2020.cnblogs.com/blog/162289/202007/16228920200704193551456548412332.png)(https://www.oschina.net/action/GoToLink?urlhttps

Kafka 发送消息过程中拦截器的用途?

消息在通过send()方法发往broker的过程中,有可能需要经过拦截、序列化器(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU3OTc1MDM1Mg%3D%3D%26mid%3D2247497846%26i

Kafka 原理详解

Kafka原理详解1kakfa基础概念说明Broker:消息服务器,就是我们部署的一个kafka服务Partition:消息的水平分区,一个Topic可以有多个分区,这样实现了消息的无限量存储Replica:消息的副本,即备份消息,存储在其他的broker上,当leader挂掉

Kafka 原理和实战

本文首发于vivo互联网技术微信公众号https://mp.weixin.qq.com/s/bV8AhqAjQp4a\_iXRfobkCQ(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%2FbV8AhqAjQp4a_iXRfobkCQ

Kafka 原理以及分区分配策略剖析

一、简介 ApacheKafka是一个分布式的流处理平台(分布式的基于发布/订阅模式的消息队列【MessageQueue】)。流处理平台有以下3个特性:可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。可以储存流式的记录,并且有较好的容错性。可

Kafka 入门和 Spring Boot 集成

Kafka入门和SpringBoot集成概述kafka是一个高性能的消息队列,也是一个分布式流处理平台(这里的流指的是数据流)。由java和Scala语言编写,最早由LinkedIn开发,并2011年开源,现在由Apache开发维护。应用场景下面列举了

Kafka 中的消息存储在磁盘上的目录布局是怎样的?

Kafka中的消息是以主题为基本单位进行归类的,各个主题在逻辑上相互独立。每个主题又可以分为一个或多个分区,分区的数量可以在主题创建的时候指定,也可以在之后修改。每条消息在发送的时候会根据分区规则被追加到指定的分区中,分区中的每条消息都会被分配一个唯一的序列号,也就是通常所说的偏移量(offset),具有4个分区的主题的逻辑结构见下图。!(http

Kafka 中的分区器、序列化器、拦截器是否了解?它们之间的处理顺序是什么?

最新一位朋友在知乎上私信我问了一些他在面试中遇到Kafka的问题,由于自己没有及时回复,这位朋友后来通过联系方式加了微信私聊了很久。其中分享一个问题就是Kafka中的分区器、序列化器、拦截器是否了解?它们之间的处理顺序是什么?对于这个问题,印象特别深刻!最近才画得图~!(https://oscimg.

Kafka 中副本机制的设计和原理

在《图解Kafka中的基本概念(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU4Mjk0MjkxNA%3D%3D%26mid%3D2247487594%26idx%3D2%26sn%3D574e205

Kafka 中两个重要概念:主题与分区

在Kafka中还有两个特别重要的概念—主题(Topic)与分区(Partition)。Kafka中的消息以主题为单位进行归类,生产者负责将消息发送到特定的主题(发送到Kafka集群中的每一条消息都要指定一个主题),而消费者负责订阅主题并进行消费。这里补充了对Kafka基本概念(https://www.oschina.net/action

Kafka web console安装

参考: http://www.cnblogs.com/yxwkf/p/5092589.html1. 安装包下载下载地址:https://github.com/claudemamo/kafkawebconsole/releases目前最新是2.0.0版本!(https://oscimg.oschina.net/os