文章
【赵渝强老师】在Spark SQL中读取JSON文件
!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/2adb32a6c43c83fcadaffa4b76adab08.png)SparkSQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFram
【赵渝强老师】搭建Hadoop环境
!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/d2010b3fa049da01ce43108662664df1.png)说明:这里我们以本地模式和伪分布模式伪列,为大家介绍如何搭建Hadoop环境。有了这个基础,大家可以自行
[转载][Spark]Join的三种实现原理
HashJoin先来看看这样一条SQL语句:selectfromorder,itemwhereitem.idorder.i_id,参与join的两张表是order和item,joinkey分别是item.id以及order.i_id。现在假设Join采用的是
Spark 内存相关(qbit)
前言本文对spark2.1.x适用executor内存模型堆内内存与堆外内存!堆内内存与堆外内存(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/d2ca17cd1ef6
整理常用Scala函数代码供大家参考(附wordcount源码)
随着大数据的发展,spark逐渐成为主流技术之一,而且支撑的scala语言也成为做大数据热门的编程语言之一,在家无聊,就将scala中一些常用的的scala的高端函数以及set、map等代码进行整理,在最后有一个完整的wordcount大数据入门源码偏应用函数<blockquote
[Spark] Spark内存管理
高层视图!image.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/6b34e149c18e4ecb1e254ece7fd75ab0.png)堆内内存OnheapMemory
[Spark]Shuffle
Spark丰富了任务类型,有些任务之间数据流转不需要通过Shuffle,但是有些任务之间还是需要通过Shuffle来传递数据,比如widedependency的groupbykey。为了方便理解,在Shuffle操作中,我们称负责分发数据的Executor叫做<codeMapper</c
[Spark] 通信架构&Standalone启动&submit提交流程
Spark通信架构端点!image.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/984934a060b13d3c5421f7df163c8e70.png)1)RpcEndpoint:RPC端点,
分布式弹性数据集RDD助力spark提升运行效率
在spark的简介中我们已经说过了,为了让spark的处理速度加快,其中有一个解决办法就是引入了一个分布式的弹性数据集–RDDRDD概念那什么是RDD:RDD(ResilientDistributedDataset)弹性数据集,是spark中的最基本的数据抽象,虽然说R
Spark在MaxCompute上是如何运行的
一、Spark系统概述!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/f7e4e0592698e6f7e0e713417440edec.png)左侧是原生Spark的架构图,右边SparkonMaxC
已加载文章中没有匹配内容,试试其他关键词或清空搜索。