HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Flink 助力美团数仓增量生产

简介:本文由美团研究员、实时计算负责人鞠大升分享,主要介绍Flink助力美团数仓增量生产的应用实践。内容包括:1、数仓增量生产;2、流式数据集成;3、流式数据处理;4、流式OLAP应用;5、未来规划。一、数仓增量生产1.美团数仓架构先介绍一下美团数仓的架构以及增量生产。如下图所示,这是美团数仓的简单架构,我

Flink 入门Demo详解

一.引言:ApachFlink是全新的流处理系统,在SparkStraming的基础上添加了很多特性,主要在于其提供了基于时间和窗口计算的算子,并且支持有状态的存储和Checkpoint的重启机制,下面假设有多个温度传感器持续传输当前温度,Flink流处理需要每一段时间提供该时间段内的传感器平均温度。二.依赖支持项目是基

Flink 作为现代数据仓库的统一引擎:Hive 集成生产就绪!

在2020年,你的数据仓库和基础设施需要满足哪些需求?我们总结了几下几点:首先,当下的企业正快速转向更实时化的模式,这要求企业具备对线上流式数据进行低延迟处理的能力,以满足实时(realtime)或近实时(nearrealtime)的数据分析需求。人们对从数据产生到数据可用之间延迟的容忍度越来越低。曾经几个小时甚至几天的

Flink 中定时加载外部数据

社区中有好几个同学问过这样的场景:  flink任务中,source进来的数据,需要连接数据库里面的字段,再做后面的处理这里假设一个ETL的场景,输入数据包含两个字段“type,userid....”,需要根据type,连接一张mysql的配置表,关联type对应的具体内容。相对于输入数据的数量,type的值是很少的

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。