HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Spark RPC通讯机制

Spark1.6推出了RPCEnv,RPCEndpoint,RPCEndpointRef为核心的新型架构下的RPC通信方式。早期版本当中,有netty和Akka两种实现方式。但是从最新的2.11代码来看,Akka已经找不到了。关于netty的更多知识,可以查看之前的文章。RpcEndpoint和RpcEndpointRef有一个管理者:RpcEnv。

Spark RDD操作之ReduceByKey

一、reduceByKey作用    reduceByKey将RDD中所有K,V对中,K值相同的V进行合并,而这个合并,仅仅根据用户传入的函数来进行,下面是wordcount的例子。importjava.util.Arrays;importjava.util.List;importorg.apache.sp

Spark RDD操作之Map系算子

  本篇博客将介绍SparkRDD的Map系算子的基本用法。  1、map    map将RDD的元素一个个传入call方法,经过call方法的计算之后,逐个返回,生成新的RDD,计算之后,记录数不会缩减。示例代码,将每个数字加10之后再打印出来, 代码如下importjava.util.Arrays;im

Spark OneHotEncoder

1、概念独热编码(OneHotEncoding) 将表示为标签索引的分类特征映射到二进制向量,该向量最多具有一个单一的单值,该单值表示所有特征值集合中特定特征值的存在。此编码允许期望连续特征(例如逻辑回归)的算法使用分类特征。对于字符串类型的输入数据,通常首先使用StringIndexer

Spark Graphx

Graphx   概述      SparkGraphX是一个分布式图处理框架,它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口,极大的方便了对分布式图处理的需求。      众所周知·,社交网络中人与人之间有很多关系链,例如Twitter、Facebook、微博和微信等,这些都是大数据产生的地方都需要图计算,现

Spark DataFrame列的合并与拆分

版本说明:Spark2.3.0使用SparkSQL在对数据进行处理的过程中,可能会遇到对一列数据拆分为多列,或者把多列数据合并为一列。这里记录一下目前想到的对DataFrame列数据进行合并和拆分的几种方法。1DataFrame列数据的合并例如:我们有如下数据,想要将三列数据合并为一列,并以“,”分割

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。