HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

大数据开发之Spark SQL及基础引擎知识分享

SparkSQL作为Spark计算查询的重要支撑,在Spark生态当中的重要性是不言而喻的。SparkSQL使得一般的开发人员或者非专业的开发人员,也能快速完成相应的计算查询需求,大数据培训这也是其存在的重要意义。今天的大数据开发学习分享,我们就来讲讲SparkSQL及基础引擎。在编程级别

大数据开发之sparkSQL的使用分享

SparkSQL,使用SQL来完成大数据操作Spark之前使用RDD操作大数据,非常方便,但是也有各种问题,例如RDD每次读取的都是字符串,以及语法比较比较麻烦。大数据培训针对这种情况,spark在新版本中升级RDD为DataFrame和DataSet,并使用SQL的方式去操作数据!(h

大数据开发 Spark 模块之SparkSQL

在实际的开发过程中,SQL化已经是数据领域的共识,大家疯狂的将大数据框架的易用性做到了最高,即使一个刚刚毕业的同学,只要有SQL基础就可以看懂甚至上手开发了。那么我们有必要对SparkSQL这个模块进行一个全面的解析。SparkSQL的前世今生SparkSQL的前身是Shark,它发布

OPPO大数据离线计算平台架构演进

1前言OPPO的大数据离线计算发展,经历了哪些阶段?在生产中遇到哪些经典的大数据问题?我们是怎么解决的,从中有哪些架构上的升级演进?未来的OPPO离线平台有哪些方向规划?今天会给大家一一揭秘。2OPPO大数据离线计算发展历史2.1大数据行业发展阶段

大数据开发之Spark和Flink的对比(转载)

大数据计算引擎的起源Hadoop和其他基于mapreduce的数据处理系统的出现首先是为了满足传统数据库无法满足的数据处理需求。随着2004年谷歌发布MapReduce白皮书以来的发展浪潮,利用Hadoop的开源生态系统或类似系统处理大数据已经成为行业的基本需求。尽管最近努力降低进入门槛

Spark和Hadoop以及区别

Spark是什么?Spark,是一种通用的大数据计算框架,正如传统大数据技术Hadoop的MapReduce、Hive引擎,以及Storm流式实时计算引擎等。Spark包含了大数据领域常见的各种计算框架:比如SparkCore用于离线计算,SparkSQL用于交互式查询,SparkS

描述一下Spark的DAG原理?

DAG(DirectedAcyclicGraph)有向无环图,Spark中使用DAG对RDD的关系进行建模,描述了RDD的依赖关系,这种关系也被称之为lineage&34;血统&34;,RDD的依赖关系使用Dependency维护,Dependency分为宽依赖(一个父RDD被多个子RDD分

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。