文章
剖析Spark数据分区之Hadoop分片
本文来自OPPO互联网技术团队,是《剖析Spark数据分区》系列文章的第一篇,将重点分析Hadoop分片。该系列共三篇文章,敬请关注。第一篇:主要分析Hadoop中的分片(https://segmentfault.com/a/1190000021282813);第二篇:
Spark Core解析 2:Scheduler 调度体系
SparkCore解析2:Scheduler调度体系Overview调度系统,是贯穿整个Spark应用的主心骨,从调度系统开始入手了解SparkCore,比较容易理清头绪。Spark的资源调度采用的是常见的两层调度,底层资源的管理和分配是第一层调度,交给YAR
好程序员大数据教程分享Spark快速入门(72集视频+源码+笔记)
好程序员大数据教程分享Spark快速入门(72集视频源码笔记)1、什么是Spark?ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行
[2019好程序员大数据教程]SparkGraphx从入门到精通(33集视频+源码+笔记)
1、什么是SparkGraphX?SparkGraphX是一个分布式的图处理框架。社交网络中,用户与用户之间会存在错综复杂的联系,如微信、QQ、微博的用户之间的好友、关注等关系,构成了一张巨大的图,单机无法处理,只能使用分布式图处理框架处理,SparkGraphX就是一种分布式图处理框架。
基于 Tracing 数据的拓扑关系生成原理
背景随着互联网架构的流行,越来越多的系统开始走向分布式化、微服务化。如何快速发现和定位分布式系统下的各类性能瓶颈成为了摆在开发者面前的难题。借助分布式追踪系统的调用链路还原能力,开发者可以完整地了解一次请求的执行过程和详细信息。但要真正分析出系统的性能瓶颈往往还需要链路拓扑、应用依赖分析
Delta Lake 删除实现
DeltaLake的Delete功能是由0.3.0版本引入的,参见这里,对应的Patch参见这里。在介绍ApacheSparkDeltaLake实现逻辑之前,我们先来看看如何使用delete这个功能。DeltaLake删除使用DeltaLake
Scala并发编程实战 - 2:Lock 锁
synchronized作为内置锁,使用简单,不易出错,然鹅确有相当的局限性,例如,无法从等待获取锁的阻塞中中断,无法设置获取锁的超时。所以JUC提供了另一种更灵活的加锁方式,即Lock。LockLock接口定义如下<pre<codepublicinterfaceLo
Scala并发编程实战:Monitor与synchronized
Java并发编程最常用和易用的技术莫过于synchronized关键字,而Scala的并发编程之旅也可以从synchronized开始。而synchronized的背后其实是monitor技术。什么是MonitorMonitor是解决并发编程问题的一种常用技术,可以有效解决互斥和同
Spark Relational Cache实现亚秒级响应的交互式分析
本场视频链接:https://developer.aliyun.com/live/1548?spma2c6h.12873581.0.0.71671566Xloy3Z&groupCodeapachespark(https://link.segmentfault.com/?encbF3
Spark概念和框架介绍
一:什么是sparkApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎,由加州大学伯克利分校AMP实验室(Algorithms,Machines,andPeopleLab)开发,可用来构建大型的、低延迟的数据分析应用程序。Spark在2013年6月
已加载文章中没有匹配内容,试试其他关键词或清空搜索。