HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Flink State 最佳实践

本文主要分享与交流Flink状态使用过程中的一些经验与心得,当然标题取了“最佳实践”之名,希望文章内容能给读者带去一些干货。本文内容首先是回顾state相关概念,并认识和区别不同的statebackend;之后将分别对state使用访问以及checkpoint容错相关内容进行详细

Flink 消息聚合处理方案

微博机器学习平台使用Flink实时处理用户行为日志和生成标签,并且在生成标签后写入存储系统。为了降低存储系统的IO负载,有批量写入的需求,同时对数据延迟也需要进行一定的控制,因此需要一种有效的消息聚合处理方案。在本篇文章中我们将详细介绍Flink中对消息进行聚合处理的方案,描述不同方

Flink 流批一体的实践与探索

自GoogleDataflow模型被提出以来,流批一体就成为分布式计算引擎最为主流的发展趋势。流批一体意味着计算引擎同时具备流计算的低延迟和批计算的高吞吐高稳定性,提供统一编程接口开发两种场景的应用并保证它们的底层执行逻辑是一致的。对用户来说流批一体很大程度上减少了开发维护的成本,但同时这对计

Iceberg 在基于 Flink 的流式数据入库场景中的应用

本文以流式数据入库的场景为基础,介绍引入Iceberg作为落地格式和嵌入Flinksink的收益,并分析了当前可实现的框架及要点。应用场景流式数据入库,是大数据和数据湖的典型应用场景。上游的流式数据,如日志,或增量修改,通过数据总线,经过必要的处理后,汇聚并存储于数据湖,

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。