HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
Spark2Streaming读Kerberos环境的Kafka并写数据到HDFS
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在前面的文章Fayson介
Spark2Streaming读Kerberos环境的Kafka并写数据到HBase
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在前面的文章Fayson介绍了在Kerberos环境下《Sp
Spark Streaming连接Kafka的两种方式 direct 跟receiver 方式接收数据的区别
Receiver是使用Kafka的高层次ConsumerAPI来实现的。Receiver从Kafka中获取的数据都是存储在SparkExecutor的内存中的,然后SparkStreaming启动的job会去处理那些数据。然而,在默认的配置下,这种方式可能会因为底层的失败而丢失数据。如果要启用高可靠机制,让数据零丢失,就必须启用Spark
Spark Streaming的优化之路——从Receiver到Direct模式
!(https://images.xiaozhuanlan.com/photo/2019/cafc8f4ba89da9b75bc4fb3aac6ff80d.jpg) _作者:个推数据研发工程师学长_1业务背景随着大数据的快速发展,业务场景越来越复杂,离线式的批处理框架MapReduce已经不能满足业务,大量的
Spark Streaming和Kafka集成深入浅出
写在前面本文主要介绍SparkStreaming基本概念、kafka集成、Offset管理本文主要介绍SparkStreaming基本概念、kafka集成、Offset管理一、概述Spark Streaming顾名思义是spark的流式处理框架,是面向海量数据实现高吞吐量、高可用的分布式实时计算。关于spark的安装可以参考Spa
Spark Streaming 结合 Kafka 两种不同的数据接收方式比较
SparkStreaming结合Kafka两种不同的数据接收方式比较博客分类:sparkDirectKafkaInputDStream只在driver端接收数据,所以继承了InputDStream,是没有receivers的在结合SparkStreaming及Kafka的实时应用中,我们通常使用以下两个API来获
Spark Streaming 交互 Kafka的两种方式
一、SparkStreaming连Kafka(重点)方式一:Receiver方式连:走磁盘使用HighLevelAPI(高阶API)实现Offset自动管理,灵活性差,处理数据时,如果某一时刻数据量过大就会磁盘溢写,通过WALS(WriteAheadLogs)进行磁盘写入,0.10版本之后被舍弃,相当于一个人拿着一个水杯去接水,水龙头的
SkyWalking 分布式链路追踪:最新 Kafka 通信模型设计
\\SkyWalking\\是一个开源\\APM\\系统,包括针对\\CloudNative\\体系结构中的分布式系统的监视、跟踪、诊断功能。核心功能如下:\服务、服务实例、端点指标分析\根本原因分析,在运行时分析代码\服务拓扑图分析\服务、服务实例和端点依赖性分析\检测到慢
Setting Up and Running Apache Kafka on Windows
IntroductionThisarticleisallaboutconfiguringandstartinganApacheKafkaserveronaWindowsOS.ThisguidewillalsoprovideinstructionstosetupJa
Serverless 在游戏运营行业进行数据采集分析的最佳实践
众所周知,游戏行业在当今的互联网行业中算是一棵常青树。在疫情之前的2019年,中国游戏市场营收规模约2884.8亿元,同比增长17.1%。2020年因为疫情,游戏行业更是突飞猛进。玩游戏本就是中国网民最普遍的娱乐方式之一,疫情期间更甚。据不完全统计,截至2019年,中国移动游戏用户规模约6.6亿人,占中国总网民规模8.47亿的77.92%,可见游戏作为一种低
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。