文章
面试系列:如何让你的spark sql运行的更快一些?
在spark设置并行度一般通过两种方式来设置:1.spark.default.parrallelism2.textFile()传入第二个参数,指定partition数量使用sparksql的时候会出现什么问题?但是如果使用来sparksql,用sp
日志服务(SLS)集成 Spark 流计算实战
前言日志服务作为一站式的日志的采集与分析平台,提供了各种用户场景的日志采集能力,通过日志服务提供的各种与·与SDK,采集客户端(Logtail),Producer,用户可以非常容易的把各种数据源中的数据采集到日志服务的Logstore中。同时为了便于用户对日志进行处理,提供了各种支持流
Spark 数据倾斜及其解决方案
<blockquote<ul<li本文首发于vivo互联网技术微信公众号<ahref"https://link.segmentfault.com/?enc3%2BIFfW9VxfVbG9OF1V8Bfw%3D%3D.Mhmrl3o%2B81yUftCl8gYLqeCEqBWtjX
60TB 数据量的作业从 Hive 迁移到 Spark 在 Facebook 的实践
Facebook经常使用分析来进行数据驱动的决策。在过去的几年里,用户和产品都得到了增长,使得我们分析引擎中单个查询的数据量达到了数十TB。我们的一些批处理分析都是基于Hive平台(ApacheHive是Facebook在2009年贡献给社区的)和Corona(Facebook内
Spark Streaming vs. Structured Streaming
简介SparkStreamingSparkStreaming是spark最初的流处理框架,使用了微批的形式来进行流处理。提供了基于RDDs的DstreamAPI,每个时间间隔内的数据为一个RDD,源源不断对RDD进行处理来实现流计算Structur
Spark整合Ray思路漫谈
什么是Ray之前花了大概两到三天把Ray相关的论文,官网文档看了一遍,同时特意去找了一些中文资料看Ray当前在国内的发展情况(以及目前国内大部分人对Ray的认知程度)。先来简单介绍下我对Ray的认知。首先基因很重要,所以我们先需要探查下Ray最初是为了解决什么问题而产生的。Ra
制作特斯拉汽车自有监控优盘
若要激活特斯拉自带的行车记录监控,需要插入一枚特制的优盘。代码如下(MacOS):<pre<codeecho&34;MakeTeslaCameraUSB...&34;diskutileraseDiskFAT32TESLAdiskutillist|grep&
Spark ML的特征处理实战
本文来自OPPO互联网技术团队,转载请注名作者。同时欢迎关注我们的公众号:OPPO_tech,与你分享OPPO前沿互联网技术及活动。一、特征处理的意义通常情况下,我们得到的数据中包含脏数据或者噪声。在模型训练前,需要对这些数据进行预处理,否则再好的模型也只能“garbagei
图解RDD血缘关系
需求有三个RDD,分别是rddA,rddB,rddC.取数据<code1,2,3,4,5</code并且分成三个分区,对输入的数据的每一个数据2,只取大于6的数据.代码<pre<codevalrddAsc.parallelize(List(1,
剖析Spark数据分区之Spark RDD分区
本文来自OPPO互联网技术团队,是《剖析Spark数据分区》系列文章的第二篇,将重点分析SparkRDD的数据分区。该系列共分3篇文章,欢迎持续关注。第一篇:主要分析Hadoop中的分片(https://segmentfault.com/a/1190000021282813);
已加载文章中没有匹配内容,试试其他关键词或清空搜索。