文章
Spark SQL
1、基础操作<pre<codepackagecom.journey.sql;importcom.alibaba.fastjson.JSON;importcom.journey.sql.bean.User;importorg.apache.spark.api.java
Spark原理
1、RDDResilientDistributedDataset(RDD),弹性分布式数据集弹性是指什么?1、内存的弹性:内存与磁盘的自动切换2、容错的弹性:数据丢失可以自动恢复3、计算的弹性:计算出错重试机制4、分片的弹性:根据需要重新分片分布式
Spark RDD Java
1、Tranform(转换算子)map<pre<codepackagecom.journey.core.rdd.transform;importorg.apache.spark.SparkConf;importorg.apache.spark.api.j
Spark+Celeborn:更快,更稳,更弹性
一、传统Shuffle的问题!图片(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/573c7382adf2c21c797e92d27004ec50.png)ApacheSpark是广为流行的大数据处理引擎,
浅谈离线数据倾斜
作者:京东零售 荆明岚一、数据倾斜的基本概念1、什么是数据倾斜?用最通俗易懂的话来说,数据倾斜无非就是大量的相同key被partition分配到一个分区里,造成了&39;一个人累死,其他人闲死&39;的情况,这种情况是我们不能接受的,这也违背了并行计
Hive 和 Spark 分区策略剖析
<blockquote作者:vivo互联网搜索团队DengJie</blockquote随着技术的不断的发展,大数据领域对于海量数据的存储和处理的技术框架越来越多。在离线数据处理生态系统最具代表性的分布式处理引擎当属Hive和Spark,它们在分区策略方面有着一些相似之处,但也存在一
锁屏面试题百日百刷-Spark篇(二十一)
锁屏面试题百日百刷,每个工作日坚持更新面试题。锁屏面试题app、小程序现已上线,官网地址:https://www.demosoftware.cn(https://link.segmentfault.com/?encLZmSrkVVkfwcfqLcl639ug%3D%3D.gXKtwcBwy
锁屏面试题百日百刷-Spark篇(二十)
锁屏面试题百日百刷,每个工作日坚持更新面试题。锁屏面试题app、小程序现已上线,官网地址:https://www.demosoftware.cn(https://link.segmentfault.com/?enc66SgKPn1BTWimfai87yj7Q%3D%3D.EhaVyd0Ia
锁屏面试题百日百刷-Spark篇(十九)
锁屏面试题百日百刷,每个工作日坚持更新面试题。锁屏面试题app、小程序现已上线,官网地址:https://www.demosoftware.cn(https://link.segmentfault.com/?encdnNZF%2F6sWNFqr%2FVjHwVAVQ%3D%3D.SK3HM
锁屏面试题百日百刷-Spark篇(十八)
锁屏面试题百日百刷,每个工作日坚持更新面试题。锁屏面试题app、小程序现已上线,官网地址:https://www.demosoftware.cn(https://link.segmentfault.com/?enc8iwWrt8Odlg3Q28mkYXOuw%3D%3D.RGroWT7JMbp
已加载文章中没有匹配内容,试试其他关键词或清空搜索。