HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Spark Core解析 2:Scheduler 调度体系

SparkCore解析2:Scheduler调度体系Overview调度系统,是贯穿整个Spark应用的主心骨,从调度系统开始入手了解SparkCore,比较容易理清头绪。Spark的资源调度采用的是常见的两层调度,底层资源的管理和分配是第一层调度,交给YAR

[2019好程序员大数据教程]SparkGraphx从入门到精通(33集视频+源码+笔记)

1、什么是SparkGraphX?SparkGraphX是一个分布式的图处理框架。社交网络中,用户与用户之间会存在错综复杂的联系,如微信、QQ、微博的用户之间的好友、关注等关系,构成了一张巨大的图,单机无法处理,只能使用分布式图处理框架处理,SparkGraphX就是一种分布式图处理框架。

基于 Tracing 数据的拓扑关系生成原理

背景随着互联网架构的流行,越来越多的系统开始走向分布式化、微服务化。如何快速发现和定位分布式系统下的各类性能瓶颈成为了摆在开发者面前的难题。借助分布式追踪系统的调用链路还原能力,开发者可以完整地了解一次请求的执行过程和详细信息。但要真正分析出系统的性能瓶颈往往还需要链路拓扑、应用依赖分析

Delta Lake 删除实现

DeltaLake的Delete功能是由0.3.0版本引入的,参见这里,对应的Patch参见这里。在介绍ApacheSparkDeltaLake实现逻辑之前,我们先来看看如何使用delete这个功能。DeltaLake删除使用DeltaLake

Scala并发编程实战 - 2:Lock 锁

synchronized作为内置锁,使用简单,不易出错,然鹅确有相当的局限性,例如,无法从等待获取锁的阻塞中中断,无法设置获取锁的超时。所以JUC提供了另一种更灵活的加锁方式,即Lock。LockLock接口定义如下<pre<codepublicinterfaceLo

Spark概念和框架介绍

一:什么是sparkApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎,由加州大学伯克利分校AMP实验室(Algorithms,Machines,andPeopleLab)开发,可用来构建大型的、低延迟的数据分析应用程序。Spark在2013年6月

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。