HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
Spark - Task的执行过程(二)- UnsafeShuffleWriter
上一篇讲了BypassMergeSortShuffleWriter(https://segmentfault.com/a/1190000040501369)实现方式,并且知道选择BypassMergeSortShuffleWriter的时候,分区数是不能超过200的,因为每次执行的时候,会根据分
Spark - Task的执行过程(一)- BypassMergeSortShuffleWriter
前面讲了Task的创建、提交,以及对Task进行资源调度与分配,对于Task的实现细节一笔带过,所以这篇开始讲解Task的执行过程。Task又分为ShuffleMapTask和ResultTask,我们分开来讲。ShuffleMapTaskShuffleMapTask进行写入的时候
Spark - Task的资源分配
在上一篇中,我们知道了每个stage会根据分区数,把数据进行切分,并生成Task,也就是说,有多少个分区数,就有多少个Task,这些task会封装在TaskSet中。我们继续上篇的流程,从stage0开始。stage0有4个分区,下面是stage0对应的TaskSet0.0,TaskSet0.0
Spark - TaskSet提交
stage切分后,就会创建一个Job,所以在一个Application中,如果有多个action算子,那就有多少个Job,每个Job根据shuffle依赖,切分成多个stage。最后生成的这个job会把引用给finalStage,也就是上篇的stage4里。Job生成后,就开始提交stage,我们以
Spark - stage切分
本文以宽依赖和窄依赖(https://segmentfault.com/a/1190000040473537)的例子来讲解stage切分的过程,这里跟之前不一样的是,join操作是宽依赖。划分到不同的Stage,并构建这些Stage的依赖关系,可以让没有依赖的Stage并行执行,并且让有
Spark - 宽依赖和窄依赖
前面Standalone模式下的Master对资源的调度,是第一层调度。为了后面第二层调度讲解,这里先用一个例子作为铺垫,也顺便讲一下宽依赖和窄依赖。所涉及的RDD使用(https://segmentfault.com/a/1190000040346913)之前已经讲过了,这里不做赘述。
Spark - Worker退出怎么办
如果是主动退出,那Worker在退出之前,这里叫worker_1,会杀死自己每个Executor进程。!image.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/183345bd098450aeb2ee5a3e54125
Spark - Executor异常退出怎么办
当Worker创建Executor的时候,会启动一个线程来创建这个Executor,并且等待获取Executor进程的退出状态。!image.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/adef5461dd3f30b7
Spark - Standalone部署模式下,Application执行完了怎么办
在前面的文章中已经知道,Application既占用了Master的资源,也占用Worker里的Executor资源。当Application运行完后这些资源是都要释放的。!image.png(https://imghelloworld.osscnbeijing.aliyuncs.com
Spark - Standalone部署模式
Standalone部署模式有两种,一个是client模式,一个是cluster模式,其中client模式是默认的。client某个可以连Spark集群的服务器,通过sparksubmit的shell脚本,启动SparkSubmit的时候,就会创建一个Application。!
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。