HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
Spark集群:环境搭建之Scala安装指南!
前篇文章介绍了Spark计算框架相较于MapReduce框架的种种优势,接下来我们一起安装、配置Spark集群环境,方便后期继续学习研究。Spark项目是由Scala语言编写的,因此需提前配置Scala环境才能运行Spark程序。 1、Sc
【赵渝强老师】Kafka的体系架构
!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/e5d31de4ab945ceeea7648664a544e35.png)一、什么是Kafka?数据工程中最具挑战性的部分之一是如何从不同点收集和传输大量数据到
Spark源码学习--内置RPC框架(2)
RPC配置类TransportConfTransportConf给Spark的RPC框架提供配置信息,它有两个成员属性——配置提供者conf和配置的模块名称module。这两个属性的定义如下:<pre<code//配置提供者privatefinalConfigProv
Spark源码学习--内置RPC框架(1)
在Spark中很多地方都涉及网络通信,比如Spark各个组件间的消息互通、用户文件与Jar包的上传、节点间的Shuffle过程、Block数据的复制与备份等。在Spark0.x.x与Spark1.x.x版本中,组件间的消息通信主要借助于Akka,使用Akka可以轻松地构建强有力的高并发与分布式应
Spark源码阅读环境搭建(基于idea+maven)
前置准备1.安装jdk1.82.安装idea3.安装maven,编译spark对maven版本有要求,spark2.4.5需要maven3.5.4以上,建议安装最新版本的maven!image.png(https://imghelloworld.osscnbeijing.al
了解统一资源管理与调度系统的这几点,轻松搞懂 spark !
<blockquote你好,我是你的Spark老师范东来,本文来自拉勾教育专栏<ahref"https://link.segmentfault.com/?encPKR20qcFkePzEdAt9Nmm3Q%3D%3D.H8EL8dmCoJkj65gn8wlTqF7MnaLTYcIid7H
spark:checkpoint
之前在学习flink的过程中记录过flink的checkpoint机制,今天主要来记录一下spark的checkpoint机制,结合源码来分析一下整体的流程。checkpointcheckpoint作为一种容错机制在很多场景下会使用到。例如之前记录的flink中,flink使用ch
【赵渝强老师】如何分析Java的内存溢出问题
!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/fa078a1d19d8ea229193960d98c85dc5.png)一、什么是内存溢出?内存溢出(OOM:outofmemory)通俗理解就是内存不够
纵观 Hadoop 发展史,离它退出历史舞台还有多远?
<blockquote作者简介:范东来,SparkContributor。本文选自:拉勾教育专栏<ahref"https://link.segmentfault.com/?enc8ngxhyABNj1%2F4gkGyzdbUg%3D%3D.de2lXQB2PgLcRQxOggEpH3LFe
spark通过kafka-appender指定日志输出到kafka引发的死锁
在采用<codelog4j</code的kafkaappender收集<codespark</code任务运行日志时,发现提交到<codeyarn</code上的任务始终<codeACCEPTED</code状态,无法进入<codeRUNNING</code状态,并且会重试两次
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。