Stella981 Stella981
3年前
SparkML(1)环境构建
工欲善其事必先利其器,我们先搭建好我们的开发环境。安装配置好Docker首先,我们需要Docker。毕竟我们的重点并不是在安装配置spark上面,怎么简便,怎么做是最好的啦。不过为了适用尽量多的场景,我们会配置一个单机集群,同时配置Pycharm远程调试。安装Docker的步骤,网上已经有很多了,我们这里贴一个基于Cent
Stella981 Stella981
3年前
Spark1.6.0 on Hadoop2.6.0单机伪分布式安装
1、Scala安装(1)解压文件ubuntu@Ubuntu:~$ sudo tar zxvf scala2.10.4.gz C /opt !(https://oscimg.oschina.net/oscnet/5fc13090fea3cd9b3e6829d482a1b5f43d9.png)(2) 环境变量配置ubunt
Stella981 Stella981
3年前
Spark学习之路 (二十八)分布式图计算系统
一、引言  在了解GraphX之前,需要先了解关于通用的分布式图计算框架的两个常见问题:图存储模式和图计算模式。二、图存储模式  巨型图的存储总体上有边分割和点分割两种存储方式。2013年,GraphLab2.0将其存储方式由边分割变为点分割,在性能上取得重大提升,目前基本上被业界广泛接受并使用。
Stella981 Stella981
3年前
Spark2Streaming读Kerberos环境的Kafka并写数据到HBase
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在前面的文章Fayson介绍了在Kerberos环境下《Sp
Wesley13 Wesley13
3年前
2016薪水增长最快的十大IT技能
IT技术潮流从来没有想今天这般风云变幻,城头变幻大王旗。对于科技人才来说,这是最好的时代,也是最坏的时代。新技能和工具的不断涌现对个人的学习能力是个极大的挑战,同时也意味着无限的机遇。最近科技招聘网站Dice对年度招聘数据进行了统计,给出了就业机会和薪水增长最快的十大IT技能排行榜(上图),Spark、Azure、Salesforce、大数据和JIRA分
Stella981 Stella981
3年前
Spark2Streaming读Kerberos环境的Kafka并写数据到HDFS
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在前面的文章Fayson介