HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Spark - Leader选举

流程Leader选举模式包括ZOOKEEPER、基于文件系统的、默认空实现以及自定义实现的,选举模式和持久化引擎(https://segmentfault.com/a/1190000040457684)是对应的。<table<thead<tr<th持久化引擎</th<

Spark - 持久化引擎

分布式高可用集群安装(https://segmentfault.com/a/1190000040295126)是Standalone集群,这里会有两个master,一个是ALIVE,一个是STANDBY。ALIVE节点是提供服务的,STANDBY是备胎,当ALIVE节点挂了以后,STANDBY会

Spark - Executor的运行

在Executor的资源调度(https://segmentfault.com/a/1190000040448608)已经提到了Worker上怎么分配Executor资源的过程,这里就讲Worker分配到Executor后是怎么运行这些Executor的。流程在调用Worker

Spark - Executor的资源调度

Master的资源调度是Spark的一级资源调度,分为对Driver的资源调度和对Executor的资源调度。这篇主要是讲Executor的资源调度。我们假设初始条件是这样的:已经5个Worker注册到Master,分别是4核16G(Dead),1核0.5G,4核4G,2核8G,4核8G。(这里的4

Spark SQL踩坑经验总结及调优分享

写在之前:本篇文章写就时间较早,因此本文所讨论的SparkSQL非最新版本,后续更新版本可能有部分修复和更新。一、Spark内存泄露1.高并发情况下的内存泄露的具体表现首先得很遗憾的告诉各位,Spark在设计之初的架构就不是为了高并发请求而生的,我们尝

Spark - Application注册

SparkSubmit使用(https://segmentfault.com/a/1190000040312161)中提到了在standalone模式下,通过sparksubmit提交集群中的应用程序的案例,这里就讲讲这个应用程序的注册到集群的过程(默认client部署模式)。这里需要引入两

Spark - Master和Worker

之前在分布式高可用集群安装(https://segmentfault.com/a/1190000040295126)中,可以看到这个集群是主从架构,在Spark集群方式中,叫做Standalone集群。主节点叫做Master,Master除了对Worker、Application、Driver等

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。