Apache Flink 在快手的应用与实践

Stella981
• 阅读 672

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

1.场景优化

1.1 Interval Join 应用场景

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

1.2 Interval Join 场景优化

Apache Flink 在快手的应用与实践

1.2.1 Interval Join 原理:

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

1.2.2 状态存储策略选择

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

1.2.3 RocksDB 访问性能问题

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

1.2.5 RocksDB 磁盘压力问题

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

2.稳定性改进

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

2.1 数据源控速

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

Source 控速策略

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

Source 控速策略详细细节

Apache Flink 在快手的应用与实践

SourceTask 共享状态

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

Source 控速结果

Apache Flink 在快手的应用与实践

拿线上作业,使用 Kafka 从最早位置(2 days ago)开始消费。如上图,不限速情况下State 持续增大,最终作业挂掉。使用限速策略后,最开始 State 有缓慢上升,但是 State 大小可控,最终能平稳追上最新数据,并 State 持续在 40 G 左右。

2.2 JobManager 稳定性

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

2.3 作业频繁失败

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

3.平台化建设

3.1 平台建设:

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

3.2 问题定位流程优化:

Apache Flink 在快手的应用与实践

Apache Flink 在快手的应用与实践

大家都在看

Flink系列:

《Flink网络传输系列》

《Flink exactly-once投递浅析》

《Flink实现动态更新作业配置》

《Apache Flink:Keyed Window与Non-Keyed Window》

《使用Flink实现索引数据到Elasticsearch》

- END -

Apache Flink 在快手的应用与实践

本文分享自微信公众号 - 大数据技术与架构(import_bigdata)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Stella981 Stella981
2年前
Android So动态加载 优雅实现与原理分析
背景:漫品Android客户端集成适配转换功能(基于目标识别(So库35M)和人脸识别库(5M)),导致apk体积50M左右,为优化客户端体验,决定实现So文件动态加载.!(https://oscimg.oschina.net/oscnet/00d1ff90e4b34869664fef59e3ec3fdd20b.png)点击上方“蓝字”关注我
Wesley13 Wesley13
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
2年前
mysql系列(三)——mysql架构与存储引擎
一、MySql逻辑架构!(https://oscimg.oschina.net/oscnet/up35e1824330cd1df7ac66652b9b1dbc41965.png)1.连接层!(https://oscimg.oschina.net/oscnet/up272cb2634e262cc2df52220a063
Stella981 Stella981
2年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
2年前
35岁是技术人的天花板吗?
35岁是技术人的天花板吗?我非常不认同“35岁现象”,人类没有那么脆弱,人类的智力不会说是35岁之后就停止发展,更不是说35岁之后就没有机会了。马云35岁还在教书,任正非35岁还在工厂上班。为什么技术人员到35岁就应该退役了呢?所以35岁根本就不是一个问题,我今年已经37岁了,我发现我才刚刚找到自己的节奏,刚刚上路。
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
3个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这