HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

hive on spark参数调整

HiveonSpark是指使用Spark替代传统MapReduce作为Hive的执行引擎,在HIVE7292提出。HiveonSpark的效率比onMR要高不少,但是也需要合理调整参数才能最大化性能,本文简单列举一些调优项。为了符合实际情况,Spark也采用onYARN部署方式来说明。

SparkSQL数据抽象与执行过程分享

SparkSQL数据抽象引入DataFrame就易用性而言,对比传统的MapReduceAPI,Spark的RDDAPI有了数量级的飞跃并不为过。然而,对于没有MapReduce和函数式编程经验的新手来说,RDDAPI仍然存在着一定的门槛。另一方面,数据科学家们所熟悉的R、Pa

Spark面试题(一)

1、spark的有几种部署模式,每种模式特点?(☆☆☆☆☆)1)本地模式 Spark不一定非要跑在hadoop集群,可以在本地,起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地,一般都是为了方便调试,本地模式分三类 local:只启动一个executor 

大数据开发之Spark入门

什么是Spark?·大数据的电花火石。·Spark类似于MapReduce的低延迟的交互式计算框架。·Spark是UCBerkeleyAMPLab开发的是一种计算框架,分布式资源工作交由集群管理软件(Mesos、YARN)。·Spark是处理海量数据的快速通用引擎大数据培训(http

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。