Spark 内存相关(qbit)
文章目录
前言
- 本文对 spark 2.1.x 适用
executor 内存模型
堆内内存与堆外内存

堆内内存

堆外内存

动态资源分配
- 基本参数设置
# 配置 external shuffle service 服务(一定要配置启用)
spark.shuffle.service.enabled = true
spark.shuffle.service.por = 7337
# 启用动态资源调度
spark.dynamicAllocation.enabled = true
# 每个应用中最少 executor 的个数
spark.dynamicAllocation.minExecutors = 1
# 每个应用中最多 executor 的个数
spark.dynamicAllocation.maxExecutors = 8
# 每个应用中初始 executor 的个数,会被 spark.executor.instances 覆盖
spark.dynamicAllocation.initialExecutors = 2
相关链接
- 线程瓜分 executor 内存: 如何设置Spark Executor Memory的大小
- 对 spark ui 显示内存数值的算账: Spark内存管理之堆内/堆外内存原理详解
本文出自 qbit sanp

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论