HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

书单分享

了解一个新的领域,其中一个方法就是大量的阅读,进而产生一个基本的认识。之前研究过推荐系统,机器学习,一路走来也积累了一些书单,丢失了一些,如今还剩这些。在此分享给大家,里面有不少有关机器学习和数据挖掘,还有Python,Spark,设计类等等。Theory部分大部分是经典书籍,对于发论文可能

在pyspark中调用scala代码

在pyspark中调用scala代码情境说明问题我们这边是要使用Spark去并行一个自然语言处理的算法,其中使用到了LDA主题模型。由于使用的是天河二号,Spark版本是1.5.1,pyspark同样,所以获取主题时还不能使用describeTopics

pyspark底层浅析

pyspark底层浅析pyspark简介pyspark是Spark官方提供的API接口,同时pyspark也是Spark中的一个程序。在terminal中输入pyspark指令,可以打开python的shell,同时其中默认初始化了SparkConf和SparkCon

Spark入门

Spark入门前言本人并未从事Spark相关的工作,但由于项目需要使用了Spark将算法实现并行化,所以本篇博客更多的是一些简单、直白的Spark用法与优化。适合看本篇博客的人应该是与我一样由于课题需要临时使用Spark或者说出于兴趣探索Spark,这篇博客可以给予一个基

Spark安装部署

0x01软件环境Spark官方提供了三种集群部署方案:<codeStandalone</code,<codeMesos</code,<codeYARN</code。其中Standalone最为方便,本文主要讲述结合<codeYARN</code的部署方案

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。