HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

CDH的Spark安装准备工作

0.本文说明本文主要撰写安装Spark过程中linux系统需要做的一些前置工作及系统配置本文所有步骤均在以下环境实施:Centos6.5参考文献:阿里yum源(https://link.segmentfault.com/?encDEz

Spark Streaming学习笔记之HDFS

Hadoop分布式文件系统(hadoopdistributedfilesystem,HDFS)。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS可以实现流的形式访问(streamingaccess)文件系统中的数据。

Spark SQL学习笔记

SparkSQL是Spark中处理结构化数据的模块。与基础的SparkRDDAPI不同,SparkSQL的接口提供了更多关于数据的结构信息和计算任务的运行时信息。SparkSQL如今有了三种不同的API:SQL语句、DataFrameAPI和最新的DatasetAPI。SparkSQ

Spark Streaming学习笔记

特点:SparkStreaming能够实现对实时数据流的流式处理,并具有很好的可扩展性、高吞吐量和容错性。SparkStreaming支持从多种数据源提取数据,如:Kafka、Flume、Twitter、ZeroMQ、Kinesis以及TCP套接字,并且可以提供一些高级AP

Spark入门阶段一之扫盲笔记

介绍spark是分布式并行数据处理框架与mapreduce的区别:mapreduce通常将中间结果放在hdfs上,spark是基于内存并行大数据框架,中间结果放在内存,对于迭代数据spark效率更高,mapreduce总是消耗大量时间排序,而有些场景不需要排序,spark可以避免不必

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。