HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
一次分布式爬虫分享
本文写于2017年7月10日,当时刚做完一个大型分布式爬虫,就写下了这篇文章分享了出来。正文:最近又和爬虫干上了,有3000万个搜索关键词,1个关键词搜索结果有多个,每个结果对应一个ID,每个ID的对应的目标页面由多个请求接口返回的json组合而成。1.在架构上使用kafka分发搜索关键词,
Kafka文件存储机制
一,存储文件结构<codetopic</code:可以理解为一个消息队列的名字<codepartition</code:为了实现扩展性,一个非常大的topic可以分布到多个broker(即服务器)上,一个topic可以分为多个partition,每个partit
搭建-kafka-测试集群
申请机器联系OP同学申请机器,Linux服务器一台、三台、五台、(2n1),Zookeeper集群的工作是超过半数才能对外提供服务,3台中超过两台超过半数,允许1台挂掉,是否可用偶数,其实没必要。如果有四台那么挂掉一台还剩下三台服务器,如果在挂掉一个就不行了,这里记住是超过半数
Kafka消息规范
Kafka作为一个消息队列,有其自己定义消息的格式。Kafka中的消息采用ByteBuf,之所以采用ByteBuf这种紧密的二进制存储格式是因为这样可以节省大量的空间。毕竟如果使用Java类的格式来定义消息对象将会浪费大量的空间(Java对象除了本身属性所占的空间外,还存在一些Header,还会存在
kafka api使用
1.生产者api引入依赖<pre<code<dependency><groupId>org.apache.kafka</groupId><artifactId>kafkaclients</artif
kafka原理
1.kafka配置文件解压kafka的安装包后,在conf目录下server.properties<pre<codebroker的全局唯一编号,在kafka集群中不能重复,为整型数字broker.id0开启删除topic功能delete.topic.ena
线上课堂百万级消息如何实现稳定互动?
CKafka助力腾讯课堂,实现百万级消息实现稳定互动导语:疫情期间,为了保障国内学子的正常学习进度,腾讯课堂积极响应国家“停工不停学”的号召,紧急上线疫情期间专用的“老师极速版”,使广大师生足不出户,即可快速便捷的完成线上开课。面对线上课堂百万量级的互动消息,如何保证消息的实时性和准确性无疑是一
Kafka常见面试题
关于这篇kafka的面试题我觉得很普遍所以有分享给大家的价值1什么是kafka Kafka是分布式发布订阅消息系统,它最初是由LinkedIn公司开发的,之后成为Apache项目的一部分,Kafka是一个分布式,可划分的,冗余备份的持久性的日志服务,它主要用于处理流式数据。
带你了解下Kafka的客户端缓冲池技术
最近看kafka源码,着实被它的客户端缓冲池技术优雅到了。忍不住要写篇文章赞美一下(哈哈)。注:本文用到的源码来自kafka2.2.2版本。背景当我们应用程序调用kafka客户端producer发送消息的时候,在kafka客户端内部,会把属于同一个topic分区的消息
Elasticsearch+Fluentd+Kafka搭建日志系统
前言由于logstash内存占用较大,灵活性相对没那么好,ELK正在被EFK逐步替代.其中本文所讲的EFK是ElasticsearchFluentdKafka,实际上K应该是Kibana用于日志的展示,这一块不做演示,本文只讲述数据的采集流程.前提docker
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。