Stella981的头像 ID: 10708576052

Stella981

HelloWorld 社区成员

Stella981

文章16974
个人网站0
加入社区2026

SparkSQL UDF两种注册方式:udf() 和 register()

调用sqlContext.udf.register()此时注册的方法只能在sql()中可见,对DataFrameAPI不可见用法:sqlContext.udf.register("makeDt",makeDT(_:String,_:String,_:String))示例:defmakeDT(date:Stri

SparkML(1)环境构建

工欲善其事必先利其器,我们先搭建好我们的开发环境。安装配置好Docker首先,我们需要Docker。毕竟我们的重点并不是在安装配置spark上面,怎么简便,怎么做是最好的啦。不过为了适用尽量多的场景,我们会配置一个单机集群,同时配置Pycharm远程调试。安装Docker的步骤,网上已经有很多了,我们这里贴一个基于Cent

Spark2Streaming读Kerberos环境的Kafka并写数据到HDFS

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在前面的文章Fayson介

Spark2Streaming读Kerberos环境的Kafka并写数据到HBase

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在前面的文章Fayson介绍了在Kerberos环境下《Sp

Spark2.x精通:ShuffleReader过程源码深度剖析

!(https://oscimg.oschina.net/oscnet/d5faf24ffe0cd18c36b230fb42019591efa.gif)一、概述    之前我们写了几篇文章详细讲解了SparkShuffle的Writer原理、技术演进历程及Spark2.x中三种Writer机制的具体实现,这里我们对Shuffle

Spark2.4.0源码——RpcEnv

参考《Spark内核设计的艺术:架构设计与实现——耿嘉安》NettyRpcEnv概述 Spark的NettyRpc环境的一些重要组件:privatenettyvaltransportConfSparkTransportConf.fromSparkConf(...)privat

Spark2.3.1在Idea控制台调整日志等级

Spark2.3.1在Idea控制台输出Spark2.3.1在Idea控制台输出时默认会打印INFO级别日志信息,在调试代码时会觉得日志太多,需要有方法调整输出的日志级别,只输出关注的日志即可调整控制台日志输出级别importorg.apache.log4j

Spark1.6.0 on Hadoop2.6.0单机伪分布式安装

1、Scala安装(1)解压文件ubuntu@Ubuntu:~$ sudo tar zxvf scala2.10.4.gz C /opt !(https://oscimg.oschina.net/oscnet/5fc13090fea3cd9b3e6829d482a1b5f43d9.png)(2) 环境变量配置ubunt

Spark 部署及示例代码讲解

Spark部署及示例代码讲解本文介绍了如何下载、部署Spark及示例代码的运行。此外,深入介绍了运行代码的过程、脚本内容,通过这些介绍力求让读者可以快速地上手Spark。目前市面上发布的Spark中文书籍对于初学者来说大多较为难读懂,作者力求推出一系列Spark文章,让读者能够从实际入手的角度来了解Spa

Spark 系列(六)Spark

写在前面:我是「nicedays」,一枚喜爱做特效,听音乐,分享技术的大数据开发猿。这名字是来自worldorder乐队的一首HAVEANICEDAY。如今,走到现在很多坎坷和不顺,如今终于明白niceday是需要自己赋予的。白驹过隙,时光荏苒,珍惜当下~~写博客一方面是

Spark 核心篇

本章内容:1、功能描述本篇文章就要根据源码分析SparkContext所做的一些事情,用过Spark的开发者都知道SparkContext是编写Spark程序用到的第一个类,足以说明SparkContext的重要性;这里先摘抄SparkContext源码注释来简单介绍介绍SparkContext,注释的第一句话就是说Spar

Spark 内存分配

Spark内存分配博客分类:sparkSpark1.5堆内存分配(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.cnblogs.com%2Fdreamfly2016%2Fp%2F5720180.html)

Spark 二次排序

遇到这样的场景,有一个文本里的字段是:日期,名字,数据。需要对名字和日期进行排序,大概的思路就是先将名字排序(其实准确来说是分组),再将日期排序。可以使用下面的方案。文本605370582021505150546051代码importorg.

Spark 之SparkContext 源码精读3

书接上文(http://my.oschina.net/corleone/blog/652484),SparkContext的CoarseGrainedSchedulerBackend已创建完毕,并且Driver也可以通过DriverEndpoint发消息了。让咱们再回到CoarseGrainedSchedulerBackend的子类,SparkDep

Spark Transformations之mapPartitions

mapPartitions(func)Similartomap,butrunsseparatelyoneachpartition(block)oftheRDD,sofuncmustbeoftypeIterator<TIterator<UwhenrunningonanRDDoftypeT.

Spark Streaming连接Kafka的两种方式 direct 跟receiver 方式接收数据的区别

Receiver是使用Kafka的高层次ConsumerAPI来实现的。Receiver从Kafka中获取的数据都是存储在SparkExecutor的内存中的,然后SparkStreaming启动的job会去处理那些数据。然而,在默认的配置下,这种方式可能会因为底层的失败而丢失数据。如果要启用高可靠机制,让数据零丢失,就必须启用Spark