HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

字节跳动基于Flink的MQ-Hive实时数据集成

在数据中台建设过程中,一个典型的数据集成场景是将MQ(MessageQueue,例如Kafka、RocketMQ等)的数据导入到Hive中,以供下游数仓建设以及指标统计。由于MQHive是数仓建设第一层,因此对数据的准确性以及实时性要求比较高。本文主要围绕MQHive场

详解 Flink 实时应用的确定性

作者:林小铂(网易游戏)确定性(Determinism)是计算机科学中十分重要的特性,确定性的算法保证对于给定相同的输入总是产生相同的输出。在分布式实时计算领域,确定性是业界一直难以解决的课题,由此导致用离线计算修正实时计算结果的Lambda架构成为大数据领域过去近十年的主流架构。而在最

Apache Flink 是什么?

ApacheFlink是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。接下来,我们来介绍一下Flink架构中的重要方面。处理无界和有界数据任何类型的数据都可以形

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。