Flink 整合 Apollo,动态更新 Flink 作业配置

算法踏月鹤
• 阅读 2457

本人自己录的视频,讲解 Flink 整和 Apollo,动态更新作业配置,无需重启作业!

在上一篇讲解 Flink 与 Nacos 整合的视频 中,讲过了常见的几种更新配置的方法,最常使用的可能就是通过广播流的方式,相信看完上个视频的,估计对整合 Nacos 做动态更新配置应该问题不大,zhisheng 我也觉得稍微简单,尤其 Nacos 搭建安装也比较简单。不知道大家公司有没有使用 Nacos 呢?我知道有的公司使用 Apollo 居多,所以后面就有读者问我能不能出个整合 Apollo 的视频,所以我趁着周末大晚上的时间就开始折腾了一番,本篇文章将给大家讲解与 Apollo 整合,动态的更新 Flink 配置。

Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性,适用于微服务配置管理场景。

因为它的自身架构原因,导致安装可能会比较复杂,需要安装好多个组件,个人觉得比 Nacos 复杂,幸好的是官方的文档比较详细,跟着安装步骤来说还是没有问题的。zhisheng 我是只在自己 Mac 电脑上面安装了一个单机版的,仅为测试使用。

快速上手的请参考该链接 https://github.com/nobodyiam/apollo-build-scripts,这样你就能够在几分钟内在本地环境部署、启动 Apollo 配置中心。另外还提供了 Quick Start 的 Docker 版本,如果你对 Docker 比较熟悉的话,那更方便了。

主要演示流程(安装 Apollo 和整合 Flink),本人录了个视频,更方便大家去实战操作,欢迎观看:

https://www.bilibili.com/vide...

<iframe height=900 width=1150 src="//player.bilibili.com/player.html?aid=91742999&cid=156618259&page=1" allowfullscreen="true"> </iframe>

代码地址:https://github.com/zhisheng17/flink-learning/tree/master/flink-learning-configration-center/flink-learning-configration-center-apollo

注意引入 Apollo 的依赖:

<dependency>
    <groupId>com.ctrip.framework.apollo</groupId>
    <artifactId>apollo-client</artifactId>
    <version>1.5.1</version>
</dependency>

最后

首发地址:http://www.54tianzhisheng.cn/...

GitHub Flink 学习代码地址:https://github.com/zhisheng17/flink-learning

原文出处:zhisheng的博客,欢迎关注我的公众号:zhisheng

点赞
收藏
评论区
推荐文章
Easter79 Easter79
4年前
springcloud gateway高级功能之集成apollo后动态刷新路由
springcloud集成apollo后动态刷新路由配置,官网给的demo如下importcom.ctrip.framework.apollo.enums.PropertyChangeType;importcom.ctrip.framework.apollo.model.ConfigChange;importcom.ct
JRC Flink流作业调优指南
本文综合ApacheFlink原理与京东实时计算平台(JRC)的背景,详细讲述了大规模Flink流作业的调优方法。通过阅读本文,读者可了解Flink流作业的通用调优措施,并应用于生产环境。
Stella981 Stella981
4年前
Apache Hudi + Flink作业运行指南
近日ApacheHudi社区合并了Flink引擎的基础实现(HUDI1327),这意味着Hudi开始支持Flink引擎。有很多小伙伴在交流群里咨询HudionFlink的使用姿势,三言两语不好描述,不如实操演示一把,于是有了这篇文章。当前Flink版本的Hudi还只支持读取Kafka数据,Sink到COW(COPY\_ON\
Stella981 Stella981
4年前
Flink1.10和Hive集成需要注意的点
前几天,Flink官方release了Flink1.10版本,这个版本有很多改动。比如:Flink1.10同时还标志着对Blink的整合宣告完成,随着对Hive的生产级别集成及对TPCDS的全面覆盖,Flink在增强流式SQL处理能力的同时也具备了成熟的批处理能力。本篇博客将对此次版本升级中的主要新特性及优化、值得注意的重要
Stella981 Stella981
4年前
Flink 1.11 与 Hive 批流一体数仓实践
导读:Flink从1.9.0开始提供与Hive集成的功能,随着几个版本的迭代,在最新的Flink1.11中,与Hive集成的功能进一步深化,并且开始尝试将流计算场景与Hive进行整合。本文主要分享在Flink1.11中对接Hive的新特性,以及如何利用Flink对Hive数仓进行实时化改造,从而实现批流
Stella981 Stella981
4年前
Apache Flink 1.9重磅发布!首次合并阿里内部版本Blink重要功能
8月22日,ApacheFlink1.9.0版本正式发布,这也是阿里内部版本Blink合并入Flink后的首次版本发布。此次版本更新带来的重大功能包括批处理作业的批式恢复,以及TableAPI和SQL的基于Blink的新查询引擎(预览版)。同时,这一版本还推出了StateProcessorAPI,这是社区最迫切需求的功能之一
Stella981 Stella981
4年前
Flink1.10和Hive集成一些需要注意的点
前几天,Flink官方release了Flink1.10版本,这个版本有很多改动。比如:Flink1.10同时还标志着对Blink的整合宣告完成,随着对Hive的生产级别集成及对TPCDS的全面覆盖,Flink在增强流式SQL处理能力的同时也具备了成熟的批处理能力。本篇博客将对此次版本升级中的主要新特性及优化、值得注意的重要