HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

一次分布式爬虫分享

本文写于2017年7月10日,当时刚做完一个大型分布式爬虫,就写下了这篇文章分享了出来。正文:最近又和爬虫干上了,有3000万个搜索关键词,1个关键词搜索结果有多个,每个结果对应一个ID,每个ID的对应的目标页面由多个请求接口返回的json组合而成。1.在架构上使用kafka分发搜索关键词,

Kafka文件存储机制

一,存储文件结构<codetopic</code:可以理解为一个消息队列的名字<codepartition</code:为了实现扩展性,一个非常大的topic可以分布到多个broker(即服务器)上,一个topic可以分为多个partition,每个partit

搭建-kafka-测试集群

申请机器联系OP同学申请机器,Linux服务器一台、三台、五台、(2n1),Zookeeper集群的工作是超过半数才能对外提供服务,3台中超过两台超过半数,允许1台挂掉,是否可用偶数,其实没必要。如果有四台那么挂掉一台还剩下三台服务器,如果在挂掉一个就不行了,这里记住是超过半数

Kafka消息规范

Kafka作为一个消息队列,有其自己定义消息的格式。Kafka中的消息采用ByteBuf,之所以采用ByteBuf这种紧密的二进制存储格式是因为这样可以节省大量的空间。毕竟如果使用Java类的格式来定义消息对象将会浪费大量的空间(Java对象除了本身属性所占的空间外,还存在一些Header,还会存在

kafka原理

1.kafka配置文件解压kafka的安装包后,在conf目录下server.properties<pre<codebroker的全局唯一编号,在kafka集群中不能重复,为整型数字broker.id0开启删除topic功能delete.topic.ena

线上课堂百万级消息如何实现稳定互动?

CKafka助力腾讯课堂,实现百万级消息实现稳定互动导语:疫情期间,为了保障国内学子的正常学习进度,腾讯课堂积极响应国家“停工不停学”的号召,紧急上线疫情期间专用的“老师极速版”,使广大师生足不出户,即可快速便捷的完成线上开课。面对线上课堂百万量级的互动消息,如何保证消息的实时性和准确性无疑是一

Kafka常见面试题

关于这篇kafka的面试题我觉得很普遍所以有分享给大家的价值1什么是kafka Kafka是分布式发布订阅消息系统,它最初是由LinkedIn公司开发的,之后成为Apache项目的一部分,Kafka是一个分布式,可划分的,冗余备份的持久性的日志服务,它主要用于处理流式数据。 

带你了解下Kafka的客户端缓冲池技术

最近看kafka源码,着实被它的客户端缓冲池技术优雅到了。忍不住要写篇文章赞美一下(哈哈)。注:本文用到的源码来自kafka2.2.2版本。背景当我们应用程序调用kafka客户端producer发送消息的时候,在kafka客户端内部,会把属于同一个topic分区的消息

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。