HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Spark sql简介

sparksql简介sparksql是spark处理结构化数据的一个模块,它提供了一个编程抽象叫做dataframe,并作为分布式sql查询引擎的作用。类比hive,是将hivesql转化为mapreduce,然后提交到集群上执行,大大简化了程序的复杂性。由于mapreduce这种

[Spark学习笔记] RDD

什么是RDDRDD是整个Spark的计算基石。是分布式数据的抽象,为用户屏蔽了底层复杂的计算和映射环境RDD是不可变的,如果需要在一个RDD上进行转换操作,则会生成一个新的RDDRDD是分区的,RDD里面的具体数据是分布在多台机器上的Executor里面的。堆内内存和堆

Spark RDD combineByKey

RDD的CombineByKey使用方法这是一个很抽象化的方法,一开始看得一头雾水。但是大部分的聚合函数都基于这个方法去实现的,比如常用的reduceByKey,所以这个方法很重要。方法参数<pre<codedefcombineByKeyC(

Spark ML调参

在机器学习中,如何根据给定的数据集,为算法模型拟合参数,使得模型达到最优的效果,这一过程称为“调参”(tuning)。Spark的Mllib提供了<codeCrossValidator</code和<codeTrainValidationSplit</code两种方法,来帮助实现模型的调优。

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。