文章

Spark源码学习--内置RPC框架(1)

在Spark中很多地方都涉及网络通信,比如Spark各个组件间的消息互通、用户文件与Jar包的上传、节点间的Shuffle过程、Block数据的复制与备份等。在Spark0.x.x与Spark1.x.x版本中,组件间的消息通信主要借助于Akka,使用Akka可以轻松地构建强有力的高并发与分布式应

spark:checkpoint

之前在学习flink的过程中记录过flink的checkpoint机制,今天主要来记录一下spark的checkpoint机制,结合源码来分析一下整体的流程。checkpointcheckpoint作为一种容错机制在很多场景下会使用到。例如之前记录的flink中,flink使用ch

已加载文章中没有匹配内容,试试其他关键词或清空搜索。