HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

RDD

RDD(ResilientDistributedDatasets),弹性分布式数据集,它是一种特殊集合,支持多种来源,有容错机制,可以被缓存,支持并行操作spark编程模型的最主要抽象,第一个是RDD,第二个抽象是两种共享变量,即支持并行计算的广播变量和累加器

Spark隐藏接口

Spark有一些隐藏的API,官方没有暴露出来,下面是一些示例,可以方便开发获取job状态<pre<codecurlhttp://sparkclusterip:6066/v1/submissions/status/driver201510081451260000 </c

spark笔记

传递第三方jars当用sparksubmit提交任务时,可以通过jars选项传递第三方jars包,如果有多个jars,用逗号分开。本地调试用sbt打包好后,最好先在本地调试一下。可以把master指定为local,然后把输入输出改为本地路径即可。

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。