HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Spark原理

1、RDDResilientDistributedDataset(RDD),弹性分布式数据集弹性是指什么?1、内存的弹性:内存与磁盘的自动切换2、容错的弹性:数据丢失可以自动恢复3、计算的弹性:计算出错重试机制4、分片的弹性:根据需要重新分片分布式

Spark的分区机制的应用及PageRank算法的实现

佩奇排名(PageRank),又称网页排名、谷歌左侧排名,是一种由搜索引擎根据网页之间相互的超链接计算的技术,而作为网页排名的要素之一,以Google公司创办人拉里·佩奇(LarryPage)之姓来命名。Google用它来体现网页的相关性和重要性,在搜索引擎优化操作中是经常被用来评估网页优化的成效因素之一。概念Sp

Spark学习之路 (十七)Spark分区

一、分区的概念  分区是RDD内部并行计算的一个计算单元,RDD的数据集在逻辑上被划分为多个分片,每一个分片称为分区,分区的格式决定了并行计算的粒度,而每个分区的数值计算都是在一个任务中进行的,因此任务的个数,也是由RDD(准确来说是作业最后一个RDD)的分区数决定。二、为什么要进行分区  数据分区,在分布式

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。