HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Spark源码学习--内置RPC框架(1)

在Spark中很多地方都涉及网络通信,比如Spark各个组件间的消息互通、用户文件与Jar包的上传、节点间的Shuffle过程、Block数据的复制与备份等。在Spark0.x.x与Spark1.x.x版本中,组件间的消息通信主要借助于Akka,使用Akka可以轻松地构建强有力的高并发与分布式应

spark:checkpoint

之前在学习flink的过程中记录过flink的checkpoint机制,今天主要来记录一下spark的checkpoint机制,结合源码来分析一下整体的流程。checkpointcheckpoint作为一种容错机制在很多场景下会使用到。例如之前记录的flink中,flink使用ch

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。