HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
【赵渝强老师】在Spark SQL中读取JSON文件
!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/2adb32a6c43c83fcadaffa4b76adab08.png)SparkSQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFram
【赵渝强老师】搭建Hadoop环境
!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/d2010b3fa049da01ce43108662664df1.png)说明:这里我们以本地模式和伪分布模式伪列,为大家介绍如何搭建Hadoop环境。有了这个基础,大家可以自行
[转载][Spark]Join的三种实现原理
HashJoin先来看看这样一条SQL语句:selectfromorder,itemwhereitem.idorder.i_id,参与join的两张表是order和item,joinkey分别是item.id以及order.i_id。现在假设Join采用的是
Spark 内存相关(qbit)
前言本文对spark2.1.x适用executor内存模型堆内内存与堆外内存!堆内内存与堆外内存(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/d2ca17cd1ef6
整理常用Scala函数代码供大家参考(附wordcount源码)
随着大数据的发展,spark逐渐成为主流技术之一,而且支撑的scala语言也成为做大数据热门的编程语言之一,在家无聊,就将scala中一些常用的的scala的高端函数以及set、map等代码进行整理,在最后有一个完整的wordcount大数据入门源码偏应用函数<blockquote
[Spark] Spark内存管理
高层视图!image.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/6b34e149c18e4ecb1e254ece7fd75ab0.png)堆内内存OnheapMemory
[Spark]Shuffle
Spark丰富了任务类型,有些任务之间数据流转不需要通过Shuffle,但是有些任务之间还是需要通过Shuffle来传递数据,比如widedependency的groupbykey。为了方便理解,在Shuffle操作中,我们称负责分发数据的Executor叫做<codeMapper</c
[Spark] 通信架构&Standalone启动&submit提交流程
Spark通信架构端点!image.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/984934a060b13d3c5421f7df163c8e70.png)1)RpcEndpoint:RPC端点,
分布式弹性数据集RDD助力spark提升运行效率
在spark的简介中我们已经说过了,为了让spark的处理速度加快,其中有一个解决办法就是引入了一个分布式的弹性数据集–RDDRDD概念那什么是RDD:RDD(ResilientDistributedDataset)弹性数据集,是spark中的最基本的数据抽象,虽然说R
Spark在MaxCompute上是如何运行的
一、Spark系统概述!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/f7e4e0592698e6f7e0e713417440edec.png)左侧是原生Spark的架构图,右边SparkonMaxC
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。