前言Spark是目前主流的大数据计算引擎，功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。作为一种内存计算框架，Spark运算速度快，并能够满足UDF、大小表Join、多路输出等多样化的数据计算和处理需求。作为国内专业的数据智能服务商，个推从早期的1.3版本便引入Spark，

ApacheSpark探秘：SparkShuffle实现博客分类：hadoopspark对于大数据计算框架而言，Shuffle阶段的设计优劣是决定性能好坏的关键因素之一。本文将介绍目前Spark的shuffle实现，并将之与MapReduce进行简单对比。本文的介绍顺序是：shuffle基本概念，MapReduceShuffle发展史以及Sp

Graphx   概述      SparkGraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。      众所周知·，社交网络中人与人之间有很多关系链，例如Twitter、Facebook、微博和微信等，这些都是大数据产生的地方都需要图计算，现

随着大数据和AI业务的不断融合，大数据分析和处理过程中，通过深度学习技术对非结构化数据（如图片、音频、文本）进行大数据处理的业务场景越来越多。本文会介绍Spark如何与深度学习框架进行协同工作，在大数据的处理过程利用深度学习框架对非结构化数据进行处理。Spark介绍Spark是大规模数据处理的事实标准，包括机器学习的操

总所周知，Spark在内存计算领域非常强势，是未来计算的方向。Spark支持类Sql的语法，方便我们对DataFrame的数据进行统计操作。但是，作为初学者，我们今天暂且不讨论Spark的用法。我给自己提出了一个有意思的思维游戏：Java里面的随机数算法真的是随机的吗？好，思路如下：1\.取样，利用Java代码随机生成2000万条01

首先，看下window函数的图解：!(https://static.oschina.net/uploads/space/2017/0810/172732_McZi_1386672.png)下面这个代码是计算一分钟之内的单词数量统计，每两秒获取一次数据，同时处理数据时间也是两秒，窗口大小为1分钟1.数据源packagecom.ss

直接上代码：packagecom.suning.scdc.hspark.goods.testimportscala.collection.Seqimportscala.collection.mutable.LinkedListimportorg.apache.spark.SparkConf

一、分区的概念　　分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是作业最后一个RDD)的分区数决定。二、为什么要进行分区　　数据分区，在分布式

1、概念独热编码（OneHotEncoding） 将表示为标签索引的分类特征映射到二进制向量，该向量最多具有一个单一的单值，该单值表示所有特征值集合中特定特征值的存在。此编码允许期望连续特征（例如逻辑回归）的算法使用分类特征。对于字符串类型的输入数据，通常首先使用StringIndexer

Spark2.3.1在Idea控制台输出Spark2.3.1在Idea控制台输出时默认会打印INFO级别日志信息，在调试代码时会觉得日志太多，需要有方法调整输出的日志级别，只输出关注的日志即可调整控制台日志输出级别importorg.apache.log4j