文章
Spark - Leader选举
流程Leader选举模式包括ZOOKEEPER、基于文件系统的、默认空实现以及自定义实现的,选举模式和持久化引擎(https://segmentfault.com/a/1190000040457684)是对应的。<table<thead<tr<th持久化引擎</th<
Spark - 持久化引擎
分布式高可用集群安装(https://segmentfault.com/a/1190000040295126)是Standalone集群,这里会有两个master,一个是ALIVE,一个是STANDBY。ALIVE节点是提供服务的,STANDBY是备胎,当ALIVE节点挂了以后,STANDBY会
Spark - Executor的运行
在Executor的资源调度(https://segmentfault.com/a/1190000040448608)已经提到了Worker上怎么分配Executor资源的过程,这里就讲Worker分配到Executor后是怎么运行这些Executor的。流程在调用Worker
Spark - Executor的资源调度
Master的资源调度是Spark的一级资源调度,分为对Driver的资源调度和对Executor的资源调度。这篇主要是讲Executor的资源调度。我们假设初始条件是这样的:已经5个Worker注册到Master,分别是4核16G(Dead),1核0.5G,4核4G,2核8G,4核8G。(这里的4
Spark SQL踩坑经验总结及调优分享
写在之前:本篇文章写就时间较早,因此本文所讨论的SparkSQL非最新版本,后续更新版本可能有部分修复和更新。一、Spark内存泄露1.高并发情况下的内存泄露的具体表现首先得很遗憾的告诉各位,Spark在设计之初的架构就不是为了高并发请求而生的,我们尝
Spark - Application注册
SparkSubmit使用(https://segmentfault.com/a/1190000040312161)中提到了在standalone模式下,通过sparksubmit提交集群中的应用程序的案例,这里就讲讲这个应用程序的注册到集群的过程(默认client部署模式)。这里需要引入两
Spark - Master和Worker
之前在分布式高可用集群安装(https://segmentfault.com/a/1190000040295126)中,可以看到这个集群是主从架构,在Spark集群方式中,叫做Standalone集群。主节点叫做Master,Master除了对Worker、Application、Driver等
编译支持 spark 读写 oss(cdh 5.x)
前言<blockquote背景:使用spark读取hdfs文件写入到oss<br/hadoop:2.6.0cdh5.15.1<br/spark:2.4.1<br/主要参考链接:<ahref"https://link.segmentfault.com/
Spark 开源新特性:Catalyst 优化流程裁剪
<blockquote<strong摘要:</strong为了解决过多依赖Hive的问题,SparkSQL使用了一个新的SQL优化器替代Hive中的优化器,这个优化器就是Catalyst。</blockquote本文分享自华为云社区《Spark开源新特性:Cata
痛苦调优10小时,我把 Spark 脚本运行时间从15小时缩短到12分钟!
<!痛苦调优10小时,我把Spark脚本运行时间从15小时缩短到12分钟!>周一我就有个困惑,还写成文章了:如何从Spark的DataFrame中取出具体某一行(https://link.segmentfault.com/?encHeisFaGuyk3m
已加载文章中没有匹配内容,试试其他关键词或清空搜索。