HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Kafka入坑指南

Kafka是为大数据而生的消息中间件,以其百万级TPS的吞吐量名声大噪,迅速成为大数据领域的宠儿,在数据采集、传输、存储的过程中发挥着举足轻重的作用,而Storm,Spark,Flink等大数据流处理或批处理平台都有Kafka的相关插件支持。本着为开源做贡献的原则,在学习Kafka的同时也参与了Ka

Kafka消息存储之FileMessageSet

摘要看过前面几篇博客的盆友可能会问,逼逼了这么多还不知道消息到底存到哪儿了,分明标题党嘛。这一次我们就来看与存储切实相关的底层操作类FileMessageSet。它是MessageSet的一个子类,操作消息和文件之间的读写操作。想想我们也知道,这特么就是要写增删改查啊。这一次的代码确实

Kafka消息存储之MessageWriter

摘要MessageWriter是Kafka进行消息写的工具类,这一部分代码倒是和整个系统设计没有多大关系,但是从局部来看,有许多有意思的细节,所以也开一篇短博客来讲一讲。MessageWriter的设计意图首先让我们列出在消息写的过程中可能出现的变化情况,也就是这个

Kafka消息存储之ByteBufferMessageSet

摘要MessageSet是Kafka在底层操作message非常重要的一个层级概念,从名称上可以看出来它是消息的集合体,但是代码中的处理逻辑更多的是在考虑到嵌套消息的处理问题。MessageSet的主要功能是提供Message的顺序读和批量写,操作的基本对象是MessageAndOff

Kafka消息存储概览

摘要Kafka作为一个消息中间件系统,面临的首要问题就是消息如何持久化,如何方便地进行读写和解析。本文将就Kafka的消息存储问题开一个头,后续将会对重要的代码部分一一讲解。Kafka的消息概念,首先我们在此谈论的不是网络传递中的消息,而更多偏向于记录的意思,也就是消费者和生产者所在意

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。