文章
书单分享
了解一个新的领域,其中一个方法就是大量的阅读,进而产生一个基本的认识。之前研究过推荐系统,机器学习,一路走来也积累了一些书单,丢失了一些,如今还剩这些。在此分享给大家,里面有不少有关机器学习和数据挖掘,还有Python,Spark,设计类等等。Theory部分大部分是经典书籍,对于发论文可能
学习笔记TF065:TensorFlowOnSpark
Hadoop生态大数据系统分为Yam、HDFS、MapReduce计算框架。TensorFlow分布式相当于MapReduce计算框架,Kubernetes相当于Yam调度系统。TensorFlowOnSpark,利用远程直接内存访问(RemoteDirectMemoryAccess,RDM
TOP100summit:【分享实录-Microsoft】基于Kafka与Spark的实时大数据质量监控平台
本篇文章内容来自2016年TOP100summitMicrosoft资深产品经理邢国冬的案例分享。编辑:Cynthia邢国冬(TonyXing):Microsoft资深产品经理、负责微软应用与服务集团的大数据平台构建,数据产品与服务.导读:微软的ASG(应用与服务集团)包含Bing,、
ubuntu16.04下安装hadoop+spark单机版
说明本文为自己配置单机版hadoop和spark的过程记录,仅供参考,因环境和版本问题,方法可能会有不同。如有错误,欢迎批评指正。下载<pre<codehadoop:http://hadoop.apache.org/releases.htmlDownloads
在pyspark中调用scala代码
在pyspark中调用scala代码情境说明问题我们这边是要使用Spark去并行一个自然语言处理的算法,其中使用到了LDA主题模型。由于使用的是天河二号,Spark版本是1.5.1,pyspark同样,所以获取主题时还不能使用describeTopics
pyspark底层浅析
pyspark底层浅析pyspark简介pyspark是Spark官方提供的API接口,同时pyspark也是Spark中的一个程序。在terminal中输入pyspark指令,可以打开python的shell,同时其中默认初始化了SparkConf和SparkCon
Spark入门
Spark入门前言本人并未从事Spark相关的工作,但由于项目需要使用了Spark将算法实现并行化,所以本篇博客更多的是一些简单、直白的Spark用法与优化。适合看本篇博客的人应该是与我一样由于课题需要临时使用Spark或者说出于兴趣探索Spark,这篇博客可以给予一个基
Spark安装部署
0x01软件环境Spark官方提供了三种集群部署方案:<codeStandalone</code,<codeMesos</code,<codeYARN</code。其中Standalone最为方便,本文主要讲述结合<codeYARN</code的部署方案
IntelliJ IDEA Windows下Spark开发环境部署
0x01环境说明博客地址:http://www.cnblogs.com/ningwang/p/7359977.html(https://link.segmentfault.com/?encFAFsTUxkvbP%2F5bPhm7JJHw%3D%3D.5eSZvnGuWQxD
大数据平台搭建 Hadoop-2.7.4 + Spark-2.2.0 快速搭建
ApacheSpark简介ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架,Spark,拥有HadoopMapR
已加载文章中没有匹配内容,试试其他关键词或清空搜索。