HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Flink中watermark(水印)讲解

watermark使用前提:处理数据开窗,处理数据的时间语义是事件时间,也就是每条数据产生的时间。使用场景(解决问题):处理乱序数据:flink中是实时处理数据,但是在处理数据的时候会出现因为网络传输的问题,所以数据先产生的反而到后面才到达,在被处理时候就会出

使用Reactor完成类似Flink的操作

一、背景Flink在处理流式任务的时候有很大的优势,其中windows等操作符可以很方便的完成聚合任务,但是Flink是一套独立的服务,业务流程中如果想使用需要将数据发到kafka,用Flink处理完再发到kafka,然后再做业务处理,流程很繁琐。比如在业务代码中想要实现类似Fli

Flink SQL 性能优化:multiple input 详解

作者|贺小令、翁才智执行效率的优化一直是Flink追寻的目标。在大多数作业,特别是批作业中,数据通过网络在task之间传递(称为数据shuffle)的代价较大。正常情况下一条数据经过网络需要经过序列化、磁盘读写、socket读写与反序列化等艰难险阻,才能从上游task传输

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。