HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
科技热点周刊|Linux 30 周年、Horizon Workroom 发布、Humanoid Robot、元宇宙
Linux之父:完全没想到我的实验习作能存在30年Linux之父:完全没想到我的实验习作能存在30年(https://link.segmentfault.com/?encvd9IAyIN%2Fc7MbYToDzhJrg%3D%3D.0fzo3MT%2BoQ5%2BCuQ
Spark系列
Spark分布式高可用集群安装(https://segmentfault.com/a/1190000040295126)SparkSparkShell使用(https://segmentfault.com/a/1190000040308959)SparkSparkSu
Spark - 说说存储的那些事
前面已经差不多把执行的流程都讲完了,这篇讲讲每个Task执行的结果是如何存储和读取的。BlockManagerBlockManager是SparkEnv中的组件之一,存储体系的所有组件和功能都是依赖着BlockManager,包括之前提到的ShuffleManager、DiskBl
Spark - Task执行结果的处理
前面已经讲了每个action算子,都会进行stage切分(https://segmentfault.com/a/1190000040475012),然后把每个stage根据分区创建TaskSet(https://segmentfault.com/a/1190000040479937),根据资
Spark学习记录之SparkCore核心属性
Spark学习记录之SparkCore初步概念Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。包含的模块有,SparkCore,SparkSQL,SparkStreaming,SparkMLib,SparkGraphXSpar
基于英特尔® 优化分析包(OAP)的 Spark 性能优化方案
简介:SparkSQL作为Spark用来处理结构化数据的一个基本模块,已经成为多数企业构建大数据应用的重要选择。但是,在大规模连接(Join)、聚合(Aggregate)等工作负载下,Spark性能会面临稳定性和性能方面的挑战。SparkSQL作为Spark用来处理结构化数据的一
26万奖金 | 第一届 E-MapReduce 极客挑战赛 诚邀英才前来挑战!
日前,“第一届EMapReduce极客挑战赛”在阿里云天池官网正式开赛。据悉,本次大赛由阿里云、英特尔联合举办,聚焦SparkSQL执行效率,探索TPCDS测试集最优性能,助力海量数据轻松上云,全程将有资深技术专家提供技术指导。大赛现已面向全社会开放报名,个人开发者、高等院校、企
Spark - 内存管理器与执行内存
在SortShuffleWriter(https://segmentfault.com/a/1190000040525158)和UnsafeShuffleWriter(https://segmentfault.com/a/1190000040505645)都提到了执行内存的申请,为了说明内存
Spark - Task的执行过程(三)- SortShuffleWriter
前面已经介绍了BypassMergeSortShuffleWriter(https://segmentfault.com/a/1190000040501369)和UnsafeShuffleWriter(https://segmentfault.com/a/1190000040505645)两
02 DataBricks+DataFactory+Blob创建环境
<blockquote本文主要是介绍创建Blob\Databricks\Datafactory资源</blockquoteAzure进入Azure首页https://portal.azure.cn/?whr...(https://link.segmentfault.c
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。