文章
Spark API Example 理解
学习背景:学习Spark的过程中,必要的一定是读官方文档。这里对http://spark.apache.org/examp...(https://link.segmentfault.com/?encUxzNNHVJC1dnmY%2F4A2t22A%3D%3D.nlfFHgw77mv
Oozie(HUE) 调度 Spark2
环境<pre<codeJDK1.8.0Hadoop2.6.0Scala2.11.8Spark2.1.2Oozie4.1Hue3.9</code</preyarnlocal模式进入Workspace
Scala implicit 隐式转换安全驾驶指南
这篇短文将结合实例对隐式转换的各种场景进行解释和总结,希望看完的人能够安全驶过隐式转换这个大坑。隐式转换函数隐式转换函数有两种作用场景。1转换为期望类型:就是指一旦编译器看到X,但需要Y,就会检查从X到Y的隐式转换函数。2转换方法的调用者:简单来说,如obj.f
Scala并发编程实战:Executor线程池
创建线程是一个重量级操作,因为需要调用操作系统内核的API,所以最好不要频繁的创建和销毁线程,为了能够复用创建的线程,常用的办法的就是创建线程池。Executorjava.util.concurren包中提供了若干接口和类来实现线程池,最常用的有Executor,ExecutorS
Spark中的RDD的分区算法-值得借鉴
Spark中的RDD的分区算法<pre<codedefpositions(length:Long,numSlices:Int):Iterator(Int,Int){(0untilnumSlices).iterator.map{i
Spark RDD 转化操作与行动操作
<blockquote本文摘自《Spark快速大数据分析》</blockquote概述RDD支持两种操作:转化操作(Transformation)和行动操作(Action)。转化操作时返回一个新的RDD的操作,比如map()和filter()。行
Spark 2.x 与 Java 8 下 WordCount 示例
运行环境<pre<codeJDK1.8.0Hadoop2.6.0Scala2.11.8Spark2.1.2</code</preRDD,不用lambda,reduceByKeyimport<pre<codeim
sortByKey引发的疑问(job,shuffle,cache)
Justforfun,写了一个demo,<pre<codevalrddsc.parallelize(Seq((1,&34;a&34;),(2,&34;c&34;),(3,&34;b&34;),(2,&34;c&34;)))valsorted
Hadoop MapReduce Spark 配置项
适用范围本文涉及到的配置项主要针对Hadoop2.x,Spark2.x。MapReduce官方文档https://hadoop.apache.org/doc...(https://link.segmentfault.com/?encboR%2
在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
预聚合是高性能分析中的常用技术,例如,每小时100亿条的网站访问数据可以通过对常用的查询纬度进行聚合,被降低到1000万条访问统计,这样就能降低1000倍的数据处理量,从而在查询时大幅减少计算量,提升响应速度。更高层的聚合可以带来进一步的性能提升,例如,在时间维按天聚合,或者通过站点而不是URL聚合
已加载文章中没有匹配内容,试试其他关键词或清空搜索。