HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Mac安装Hadoop2.8.0

<blockquote<p前几天试了一下Hadoop,搜了大量网络资料,现在发现有的网络资料太旧了,今天重新写了个,比较简单。</p</blockquote安装及配置Hadoop1.首先安装一下Hadoop<pre<codebrewinstallH

浅析 Flink Table/SQL API

从何而来关系型API有很多好处:是声明式的,用户只需要告诉需要什么,系统决定如何计算;用户不必特地实现;更方便优化,可以执行得更高效。本身Flink就是一个统一批和流的分布式计算平台,所以社区设计关系型API的目的之一是可以让关系型API作为统一的一层,两种查询拥有同样的语义和语法。大多

spark集群部署-硬件配置官方建议

1、存储系统因为sparkjob需要从外部的存储系统(或文件系统)读取数据(例如:hbase、hdfs等),所有让spark任务尽可能的接近数据本地,让spark和hadoop部署到相同的节点上;数据本地性:将计算任务推送到数据所在地,如果不能保证,也要尽可能的让计算任务接近数据所在地;

用Spark解决一些经典MapReduce问题

摘要Spark是一个Apache项目,它被标榜为“快如闪电的集群计算”。它拥有一个繁荣的开源社区,并且是目前最活跃的Apache项目。Spark提供了一个更快、更通用的数据处理平台。和Hadoop相比,Spark可以让你的程序在内存中运行时速度提升100倍,或者在磁盘上运行时速度提升1

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。