文章
Spark sql简介
sparksql简介sparksql是spark处理结构化数据的一个模块,它提供了一个编程抽象叫做dataframe,并作为分布式sql查询引擎的作用。类比hive,是将hivesql转化为mapreduce,然后提交到集群上执行,大大简化了程序的复杂性。由于mapreduce这种
spark之wordcount
sparkwordcount示例
[Spark学习笔记] RDD
什么是RDDRDD是整个Spark的计算基石。是分布式数据的抽象,为用户屏蔽了底层复杂的计算和映射环境RDD是不可变的,如果需要在一个RDD上进行转换操作,则会生成一个新的RDDRDD是分区的,RDD里面的具体数据是分布在多台机器上的Executor里面的。堆内内存和堆
Spark RDD combineByKey
RDD的CombineByKey使用方法这是一个很抽象化的方法,一开始看得一头雾水。但是大部分的聚合函数都基于这个方法去实现的,比如常用的reduceByKey,所以这个方法很重要。方法参数<pre<codedefcombineByKeyC(
Spark共享变量之累加器
来看一个简单的例子,需求是:统计单词的个数。<pre<codevaldata:RDDStringsc.makeRDD(Seq(&34;hadoopmapreduce&34;,&34;sparkmllib&34;))//方式1val
Scala学习笔记:how to convert a StringRDD to Array
!clipboard1.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/656385f78a456e1e6c74ff70cd07f21f.png)!clipboard2.png(https://imghello
Scala闭包特性的一个测试
CreatedbyWang,Jerry,lastmodifiedonDec14,2015!clipboard1.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/f117a394998e8645
Spark ML机器学习库评估指标示例
本文主要对SparkML库下模型评估指标的讲解,以下代码均以<codeJupyterNotebook</code进行讲解,Spark版本为<code2.4.5</code。模型评估指标位于包<codeorg.apache.spark.ml.evaluation</code下。
剖析Spark数据分区之Spark streaming & TiSpark
本文来自OPPO互联网技术团队,是《剖析Spark数据分区》系列文章的第三篇,本篇我们将分析Sparkstreaming,TiSpark中的数据分区。系列一:剖析Spark数据分区之Hadoop分片(https://segmentfault.com/a/1190000021282813)
Spark ML调参
在机器学习中,如何根据给定的数据集,为算法模型拟合参数,使得模型达到最优的效果,这一过程称为“调参”(tuning)。Spark的Mllib提供了<codeCrossValidator</code和<codeTrainValidationSplit</code两种方法,来帮助实现模型的调优。
已加载文章中没有匹配内容,试试其他关键词或清空搜索。