HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Apache Spark + 海豚调度:PB 级数据调度挑战,教你如何构建高效离线工作流

2010年,我国进入移动互联网,数据规模成几何式增长。在大数据开源技术领域,以Hadoop为核心的大数据生态系统面对海量数据也不断发展与迭代,大数据处理流程中的各个开源组件,也一起开启了狂飙突进的大数据时代,推动整个行业开启了数字化变革之路。!(https://imghel

Spark-从磁盘到内存的跨度

如果说对于的大数据处理最有贡献的当属Hadoop的三招绝学,HDFS、YARN、MapReduce,而Spark师从Hadoop,青出于蓝而胜于蓝,创建的SparkCore改进了Hadoop基于磁盘的分布式计算,独成一派创建了机遇内存的分布式计算引擎。HadoopMapReduce欲知Spark

hive on spark

简述hiveonspark就是使用hive记录元数据,以及解析sql。使用spark的rdd真正执行计算任务。hdfs负责存储spark负责执行hive负责数据管理版本apachehive3.1.3bin.tarspark3.3.1binhadoop3s

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。