HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Flink技术实战宝典.pdf

近年来,AI场景发展得如火如荼,同时其计算规模也越来越大。这也让专注于数据处理的Flink有了较大的发展空间。Flink作为在大数据生态里实时处理的一个新框架,在一定程度上也有一定的难度。!(https://oscimg.oschina.net/oscnet/88055ce26e954c86ac75a83feb1e391d.pn

Flink 是如何支撑一分钟破百亿成交额的?

提到天猫双十一,一分钟破百亿的成交额,你肯定不会陌生,他的背后就是一套强大的流计算引擎在支撑,以便得到实时统计结果。面对日益增长的数据规模,以及越来越低时延的数据处理需求,流处理已成为每家公司数据平台的必备能力。目前主流的流计算技术有ApacheStorm,SparkStreaming和ApacheFlink,但真正能同时做到低时延、

Flink 助力美团数仓增量生产

简介:本文由美团研究员、实时计算负责人鞠大升分享,主要介绍Flink助力美团数仓增量生产的应用实践。内容包括:1、数仓增量生产;2、流式数据集成;3、流式数据处理;4、流式OLAP应用;5、未来规划。一、数仓增量生产1.美团数仓架构先介绍一下美团数仓的架构以及增量生产。如下图所示,这是美团数仓的简单架构,我

Flink 作为现代数据仓库的统一引擎:Hive 集成生产就绪!

在2020年,你的数据仓库和基础设施需要满足哪些需求?我们总结了几下几点:首先,当下的企业正快速转向更实时化的模式,这要求企业具备对线上流式数据进行低延迟处理的能力,以满足实时(realtime)或近实时(nearrealtime)的数据分析需求。人们对从数据产生到数据可用之间延迟的容忍度越来越低。曾经几个小时甚至几天的

Flink 中定时加载外部数据

社区中有好几个同学问过这样的场景:  flink任务中,source进来的数据,需要连接数据库里面的字段,再做后面的处理这里假设一个ETL的场景,输入数据包含两个字段“type,userid....”,需要根据type,连接一张mysql的配置表,关联type对应的具体内容。相对于输入数据的数量,type的值是很少的

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。