HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

大数据开发之通过 Spark 来扩展 Presto

概述Presto最初设计是对数据仓库中的数据运行交互式查询,但现在它已经发展成为一个位于开放数据湖分析之上的统一SQL引擎,用于交互式和批处理工作负载,数据湖上的流行工作负载包括:•报告和仪表盘:这包括为内部和外部开发人员提供自定义报告以获取业务洞察力,以及许多使用Presto

大数据开发之SparkSQL面试篇

1.谈谈你对SparkSQL的理解SparkSQL是一个用来处理结构化数据的Spark组件,前身是shark,但是shark过多的依赖于hive如采用hive的语法解析器、查询优化器等,制约了Spark各个组件之间的相互集成,因此SparkSQL应运而生大数据培训(https://

大数据开发之Spark Shuffle 原理分析

Shuffle的产生在Spark作业中当父RDD与子RDD的分区对应关系为多对多或者一对多的情况下会发生宽依赖,也即一个父RDD的分区需要分发到多个子RDD所在的任务中大数据培训去执行,这种情况就会涉及数据的重新分布,也即产生了shuffle。Spark算子是否引入shuffle与各算子

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。