Flink集群有哪些角色?各自有什么作用
文章目录
flink集群有jobmanager、taskmanager、client三个角色。
jobmanager
作用:
1.负责接收flink job,将JobGraph转换成ExecutionGraph,最终将Execution Graph拿来运行
2.负责管理taskmanager
3.负责协调checkpoint
4.负责failover故障恢复
组件:
1.Actor system,负责跟taskmanager之间同行
- scheduler,负责task任务调度
- 3.Checkpoint Coordinator,负责协调整个checkpoint的过程
taskmanager
作用:
1.负责执行计算工作的节点,每个taskmanager负责管理其所在节点的资源信息,如︰内存、磁盘、网络,在启动时向jobmanager汇报
组件:
1.Memory & 1/O Manager,即内存I/O的管理
2.Network Manager,用来对网络方面进行管理
3.Actor system,用来负责网络的通信
client
1.负责将flink job提交给jobmanager
了解更多大数据面试题欢迎关注小编大数据培训专栏内容!

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论