HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

字节跳动 Flink 单点恢复功能实践

背景在字节跳动的实时计算场景中,我们有很多任务(数量2k)会直接服务于线上,其输出时延和稳定性会直接影响线上产品的用户体验,这类任务通常具有如下特点:流量大,并发高(最大的任务并行度超过1w)拓扑类似于多流Join,将各个数据源做整合输出给下游,不依赖C

开始segmentfault之旅

今天是第一天开始记录自己的采坑心得。之前一直是java后端开发,但是真正工作后开始接触flink大数据处理方面。之前有过很多flink开发的小坑,但是没有记录下来,所以现在准备把自己的采坑之旅完整记录下来,希望大家可以多给意见和建议。谢谢大家!

Nexmark: 如何设计一个流计算基准测试?

如何选择适合自己业务的流计算引擎?除了比较各自的功能矩阵外,基准测试(benchmark)便是用来评估系统性能的一个重要和常见的方法。然而在流计算领域,目前还没有一个行业标准的基准测试。本文将探讨流计算基准测试设计上的难点,分享如何设计流计算基准测试框架——Nexmark,以及将来的规划。

基于 Flink + Hive 构建流批一体准实时数仓

基于Hive的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive数仓有很高的成熟度和稳定性,但由于它是离线的,延时很大。在一些对延时要求比较高的场景,需要另外搭建基于Flink的实时数仓,将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗,甚至导致重

码住!Flink Contributor 速成指南

本文整理自ApacheFlinkPMC伍翀(云邪)直播分享,旨在为具备一定大数据基础、对Flink社区发展感兴趣的同学提供参与贡献的一些经验和流程。为什么要参与开源社区作为ApacheFlinkPMC的云邪根据自身经历总结了参与开源社区发展的三个主要原因

字节跳动 Flink 单点恢复功能实践

简介:在Flink现有的架构设计中,多流Join拓扑下单个Task失败会导致所有Task重新部署,耗时可能会持续几分钟,导致作业的输出断流,这对于线上业务来说是不可接受的。针对这一痛点,字节提出单点恢复的方案。背景在字节跳动的实时计算场景中,我们有很多任务

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。