HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Spark序列化

序列化常用于网络传输和数据持久化以便于存储和传输,Spark通过两种方式来创建序列化器1.序列化器SparkEnv<pre<code//serializer序列化器,主要用于序列化Shuffle数据,以及RDDCache等场合valserializer

使用Spark分析拉勾网招聘信息(四): 几个常用的脚本与图片分析结果

概述前一篇文章,已经介绍了BMR的基础用法,再结合Spark和Scala的文档,我想应该是可以开始你的数据分析之路的.这一篇文章,着重进行一些简单的思路上的引导和分析.如果你分析招聘数据时,卡在了某个环节,可以试着阅读本文.在继续下面的各种分析前,请确保已经读完了本系列文章的第三篇,

《全栈数据之门》初稿完成

《全栈数据之门》(暂定书名)是末学近5年来工作技能的积累,从8个月前开通公众号写的第一篇起,中间也不知度过了多少个寂寞的夜晚。写文章本来就是一个很费力的活,况且写书要求还得高些。原计划写的是七章,每章七篇,共计七七得四十九篇。只是在写作过程中,舍弃了部分原计划的篇幅。感觉以目前的功力,或是写

飞驰在Mesos的涡轮引擎上

回想起第一次接触Mesos,当时有很多困惑:&34;这到底是用来做啥的?跟YARN比有什么优势?有哪些大公司在使用么?&34;。然而现在技术日新月异地发展,Mesos这个生态圈也开始被越来越多的团队熟悉关注,像k8s,Swarm之类的重量级竞品一个个地涌现。!clipb

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。