Stella981的头像 ID: 10708576052

Stella981

HelloWorld 社区成员

Stella981

文章16974
个人网站0
加入社区2026

Spark Streaming的优化之路——从Receiver到Direct模式

!(https://images.xiaozhuanlan.com/photo/2019/cafc8f4ba89da9b75bc4fb3aac6ff80d.jpg)     _作者:个推数据研发工程师学长_1业务背景随着大数据的快速发展,业务场景越来越复杂,离线式的批处理框架MapReduce已经不能满足业务,大量的

Spark Streaming和Kafka集成深入浅出

写在前面本文主要介绍SparkStreaming基本概念、kafka集成、Offset管理本文主要介绍SparkStreaming基本概念、kafka集成、Offset管理一、概述Spark Streaming顾名思义是spark的流式处理框架,是面向海量数据实现高吞吐量、高可用的分布式实时计算。关于spark的安装可以参考Spa

Spark Streaming(5):Spark Window function in Java

首先,看下window函数的图解:!(https://static.oschina.net/uploads/space/2017/0810/172732_McZi_1386672.png)下面这个代码是计算一分钟之内的单词数量统计,每两秒获取一次数据,同时处理数据时间也是两秒,窗口大小为1分钟1.数据源packagecom.ss

Spark Streaming 结合 Kafka 两种不同的数据接收方式比较

SparkStreaming结合Kafka两种不同的数据接收方式比较博客分类:sparkDirectKafkaInputDStream只在driver端接收数据,所以继承了InputDStream,是没有receivers的在结合SparkStreaming及Kafka的实时应用中,我们通常使用以下两个API来获

Spark Streaming 交互 Kafka的两种方式

一、SparkStreaming连Kafka(重点)方式一:Receiver方式连:走磁盘使用HighLevelAPI(高阶API)实现Offset自动管理,灵活性差,处理数据时,如果某一时刻数据量过大就会磁盘溢写,通过WALS(WriteAheadLogs)进行磁盘写入,0.10版本之后被舍弃,相当于一个人拿着一个水杯去接水,水龙头的

Spark Shuffle之Tungsten Sort Shuffle

源文件放在github,随着理解的深入,不断更新,如有谬误之处,欢迎指正。原文链接https://github.com/jacksu/utils4s/blob/master/sparkknowledge/md/tungstensortshuffle.md(https://www.oschina.net/action/GoToLink?urlhtt

Spark Shuffle之Sort Shuffle

源文件放在github,随着理解的深入,不断更新,如有谬误之处,欢迎指正。原文链接https://github.com/jacksu/utils4s/blob/master/sparkknowledge/md/sortshuffle.md(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%

Spark Shuffle之Hash Shuffle

源文件放在github,如有谬误之处,欢迎指正。原文链接https://github.com/jacksu/utils4s/blob/master/sparkknowledge/md/hashshuffle.md(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%

Spark SQL重点知识总结

一、SparkSQL的概念理解SparkSQL是spark套件中一个模板,它将数据的计算任务通过SQL的形式转换成了RDD的计算,类似于Hive通过SQL的形式将数据的计算任务转换成了MapReduce。SparkSQL的特点:1、和SparkCore的无缝集成,可以在写整个RDD应用的时候,配

Spark SQL快速入门系列之Hive

点击上方蓝色字体,选择“设为星标”回复”资源“获取更多资源!(https://oscimg.oschina.net/oscnet/e06da860dad1494799951bb8689a5ab1.jpg)!(https://oscimg.oschina.net/oscnet/5ab4ea4586bc4172

Spark RPC通讯机制

Spark1.6推出了RPCEnv,RPCEndpoint,RPCEndpointRef为核心的新型架构下的RPC通信方式。早期版本当中,有netty和Akka两种实现方式。但是从最新的2.11代码来看,Akka已经找不到了。关于netty的更多知识,可以查看之前的文章。RpcEndpoint和RpcEndpointRef有一个管理者:RpcEnv。

Spark RDD操作之ReduceByKey

一、reduceByKey作用    reduceByKey将RDD中所有K,V对中,K值相同的V进行合并,而这个合并,仅仅根据用户传入的函数来进行,下面是wordcount的例子。importjava.util.Arrays;importjava.util.List;importorg.apache.sp

Spark RDD操作之Map系算子

  本篇博客将介绍SparkRDD的Map系算子的基本用法。  1、map    map将RDD的元素一个个传入call方法,经过call方法的计算之后,逐个返回,生成新的RDD,计算之后,记录数不会缩减。示例代码,将每个数字加10之后再打印出来, 代码如下importjava.util.Arrays;im

Spark RDD工作原理详解+RDD JAVA API编程

第1章RDD概念1.1RDD为什么会产生   RDD:ResilientDistributedDataset弹性分布式数据集RDD是Spark的基石,是实现Spark数据处理的核心抽象。那么RDD为什么会产生呢?

Spark Python 快速体验

Spark是2015年最受热捧大数据开源平台,我们花一点时间来快速体验一下Spark。Spark技术栈!(http://static.oschina.net/uploads/space/2016/0331/103717_d6qN_1450051.png)如上图所示,Spark的技术栈包括了这些模块:核心模块:Spark

Spark OneHotEncoder

1、概念独热编码(OneHotEncoding) 将表示为标签索引的分类特征映射到二进制向量,该向量最多具有一个单一的单值,该单值表示所有特征值集合中特定特征值的存在。此编码允许期望连续特征(例如逻辑回归)的算法使用分类特征。对于字符串类型的输入数据,通常首先使用StringIndexer