HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

新特性, 可以替代 Canal 的数据同步方案—Flink-CDC

一、CDC简介CDC是ChangeDataCapture(变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据或数据表的插入、更新以及删除等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。CDC主要分为基于查询和基于Binlo

大数据培训:Flink 快照分析

在Flink作业中,无论是SQL还是JAR模式,常常会直接或者间接地使用到状态(State)。当Flink进行快照时,用户定义的这些状态数据可以被保存在状态点中,以供后续的崩溃恢复。Flink的状态分为OperatorState和KeyedState,而Keyed

大数据培训:Flink窗口的开始时间的计算

我还记得的在我刚学习flink的时候,B站的老师说过,Flink窗口的开始时间和结束时间和你想的不一样。那个时候我好像记得老师说过,flink的窗口大小会根据你的时间单位来进行修正。然后在现如今,很多人还是不是很了解窗口机制,以及watermark。更别提什么窗口什么时候,什么时候结束。所以呢,

大数据培训:Flink全链路延迟的测量方式及原理

一、背景FlinkJob端到端延迟是一个重要的指标,用来衡量Flink任务的整体性能和响应延迟(大部分流式应用,要求低延迟特性)。通过流处理引擎竞品对比,我们发现大部分流计算引擎产品,都在告警监控页面,集成了全链路时延指标展示(直方图)。一些低延时的处理场景,例如用于登陆、用户下单

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。