HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Spark原理

1、RDDResilientDistributedDataset(RDD),弹性分布式数据集弹性是指什么?1、内存的弹性:内存与磁盘的自动切换2、容错的弹性:数据丢失可以自动恢复3、计算的弹性:计算出错重试机制4、分片的弹性:根据需要重新分片分布式

浅谈离线数据倾斜

作者:京东零售 荆明岚一、数据倾斜的基本概念1、什么是数据倾斜?用最通俗易懂的话来说,数据倾斜无非就是大量的相同key被partition分配到一个分区里,造成了&39;一个人累死,其他人闲死&39;的情况,这种情况是我们不能接受的,这也违背了并行计

Hive 和 Spark 分区策略剖析

<blockquote作者:vivo互联网搜索团队DengJie</blockquote随着技术的不断的发展,大数据领域对于海量数据的存储和处理的技术框架越来越多。在离线数据处理生态系统最具代表性的分布式处理引擎当属Hive和Spark,它们在分区策略方面有着一些相似之处,但也存在一

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。