HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Flink 零基础实战教程:如何计算实时热门商品

在上一篇入门教程中,我们已经能够快速构建一个基础的Flink程序了。本文会一步步地带领你实现一个更复杂的Flink应用程序:实时热门商品。在开始本文前我们建议你先实践一遍上篇文章,因为本文会沿用上文的myflinkproject项目框架。通过本文你将学到:如何基于EventTime处理,如何指定Watermark如

Flink 网络传输优化技术

作为工业级的流计算框架,Flink被设计为可以每天处理TB甚至PB级别的数据,所以如何高吞吐低延迟并且可靠地在算子间传输数据是一个非常重要的课题。此外,Flink的数据传输还需要支持框架本身的特性,例如反压和用于测量延迟的latencymarker。在社区不断的迭代中,Flink逐渐积累了一套值得研究的网络栈(NetworkStack),

Flink 系例 之 MaxBy

maxBy聚合:获取一组数据流算子中最大的记录行(和max的区别,max是返回计算字段的最大值)示例环境java.version:1.8.xflink.version:1.11.1 示例数据源(项目码云下载)Flink系例之搭建开发环境与数据(https://my.oschina.net/u/437309

Flink 流批一体的实践与探索

自GoogleDataflow模型被提出以来,流批一体就成为分布式计算引擎最为主流的发展趋势。流批一体意味着计算引擎同时具备流计算的低延迟和批计算的高吞吐高稳定性,提供统一编程接口开发两种场景的应用并保证它们的底层执行逻辑是一致的。对用户来说流批一体很大程度上减少了开发维护的成本,但同时这对计算引擎来说是一个很大的挑战。作为Dataflow模型

Flink 是如何支撑一分钟破百亿成交额的?

提到天猫双十一,一分钟破百亿的成交额,你肯定不会陌生,他的背后就是一套强大的流计算引擎在支撑,以便得到实时统计结果。面对日益增长的数据规模,以及越来越低时延的数据处理需求,流处理已成为每家公司数据平台的必备能力。目前主流的流计算技术有ApacheStorm,SparkStreaming和ApacheFlink,但真正能同时做到低时延、

Flink 在又拍云日志批处理中的实践

日前,由又拍云举办的大数据与AI技术实践|OpenTalk杭州站沙龙在杭州西溪科创园顺利举办。本次活动邀请了有赞、个推、方得智能、又拍云等公司核心技术开发者,现场分享各自领域的大数据技术经验和心得。以下内容整理自又拍云资深开发工程师张召现场分享:张召,资深开发工程师,目前负责又拍云CDN的刷新预热、日志处理和运维平台开发。熟悉OpenRes

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。