Stella981 Stella981
2年前
Apache Hudi + Flink作业运行指南
近日ApacheHudi社区合并了Flink引擎的基础实现(HUDI1327),这意味着Hudi开始支持Flink引擎。有很多小伙伴在交流群里咨询HudionFlink的使用姿势,三言两语不好描述,不如实操演示一把,于是有了这篇文章。当前Flink版本的Hudi还只支持读取Kafka数据,Sink到COW(COPY\_ON\
Stella981 Stella981
2年前
Flink JDBC Connector:Flink 与数据库集成最佳实践
整理:陈政羽(Flink社区志愿者)摘要:Flink1.11引入了CDC,在此基础上,JDBCConnector也发生比较大的变化,本文由 ApacheFlinkContributor,阿里巴巴高级开发工程师徐榜江(雪尽)分享,主要介绍Flink1.11JDBCConnector的最佳实践。大纲如下:
Stella981 Stella981
2年前
Flink1.10和Hive集成需要注意的点
前几天,Flink官方release了Flink1.10版本,这个版本有很多改动。比如:Flink1.10同时还标志着对Blink的整合宣告完成,随着对Hive的生产级别集成及对TPCDS的全面覆盖,Flink在增强流式SQL处理能力的同时也具备了成熟的批处理能力。本篇博客将对此次版本升级中的主要新特性及优化、值得注意的重要
Stella981 Stella981
2年前
Flink 1.11 与 Hive 批流一体数仓实践
导读:Flink从1.9.0开始提供与Hive集成的功能,随着几个版本的迭代,在最新的Flink1.11中,与Hive集成的功能进一步深化,并且开始尝试将流计算场景与Hive进行整合。本文主要分享在Flink1.11中对接Hive的新特性,以及如何利用Flink对Hive数仓进行实时化改造,从而实现批流
Stella981 Stella981
2年前
Flink从入门到真香(13、时间语义的定义)
在watermark之前先说下时间的概念,在https://blog.51cto.com/mapengfei/2554577里面有各种时间窗口,实际生产中那是以哪个时间为准产生的窗口呢?事件发生的时间?进入flink程序的时间?还是flink开始处理的时间Flink提供了一套设计解决方案设置可以在代码中env直接设置
Stella981 Stella981
2年前
Flink
近期研究下Flink的相关东西,一点一点完善,先来下载地址:https://www.apache.org/dyn/closer.lua/flink/flink1.12.1/flink1.12.1binscala\_2.12.tgz(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2
Stella981 Stella981
2年前
Flink1.10和Hive集成一些需要注意的点
前几天,Flink官方release了Flink1.10版本,这个版本有很多改动。比如:Flink1.10同时还标志着对Blink的整合宣告完成,随着对Hive的生产级别集成及对TPCDS的全面覆盖,Flink在增强流式SQL处理能力的同时也具备了成熟的批处理能力。本篇博客将对此次版本升级中的主要新特性及优化、值得注意的重要
Stella981 Stella981
2年前
Apache Flink 结合 Kafka 构建端到端的 Exactly
文章目录:1.ApacheFlink应用程序中的ExactlyOnce语义2.Flink应用程序端到端的ExactlyOnce语义3.示例Flink应用程序启动预提交阶段4.在Flink中实现两阶段提交Operator5.总结ApacheFlink(https://www.os
Stella981 Stella981
2年前
FLINK 1.12 支持upsertSql 不再去使用了JDBCUpsertSINK了,kafka也支持upsert了
packagecom.konka.dsp;importorg.apache.flink.api.common.JobExecutionResult;importorg.apache.flink.api.common.restartstrategy.RestartStrategies;import
Stella981 Stella981
2年前
Flink技术整理
 首先先拉取Flink的样例代码mvnarchetype:generate\DarchetypeGroupIdorg.apache.flink\DarchetypeArtifactIdflinkquic