智数幽篁引的头像 ID: 51193612222

智数幽篁引

HelloWorld 社区成员

3744434859

文章3
个人网站0
加入社区2025

大数据开发-Spark-RDD的持久化和缓存

1.RDD缓存机制cache,persistSpark速度非常快的一个原因是RDD支持缓存。成功缓存后,如果之后的操作使用到了该数据集,则直接从缓存中获取。虽然缓存也有丢失的风险,但是由于RDD之间的依赖关系,如果某个分区的缓存数据丢失,只需要重新计算该分区即可。涉