HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Spark Machine Learning 03 Spark上数据的获取、处理与准备

Chap03Spark上数据的获取处理Spark上数据的获取、处理与准备MovieStream,数据包括网站提供的电影数据、用户的服务信息数据以及行为数据。这些数据涉及电影和相关内容(比如标题、分类、图片、演员和导演)、用户信息(比如用户属性、位置和其他信息)以及用户活动数据

浅析Apache Spark Caching和Checkpointing

摘要作为一个ApacheSpark应用开发人员,内存管理是最重要的人物之一,但cacheing和checkpointing之间的差异可能会导致混乱。这2种操作是都是用来防止rdd(弹性分布式数据集)每次被引用时被重复计算带来的时间和空间上不必要的损失。然而他们之间的区别是什么呢?

『 Spark 』3. spark 编程模式

写在前面本系列是综合了自己在学习spark过程中的理解记录+对参考文章中的一些理解+个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一切以能够理解为主,没有必要的细节就不会记录了,而且文中有时候会出现英文原版文档,只要不影响理

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。