文章
Flink 实时 metrics
目前我们的flink任务跑在yarn集群上,在面对以下问题时常驻实时job是否在稳定运行?实时数据的处理能力如何?消费过慢?是否需要申请更多资源提升消费能力?实时数据质量可靠?是否有丢数据的风险?实时任务现有的资源是否足够支撑现有的数据量?资源是否闲置浪费?虽
37 手游基于 Flink CDC + Hudi 湖仓一体方案实践
<blockquote<p本文作者是37手游大数据开发徐润柏,介绍了37手游为何选择Flink作为计算引擎,并如何基于FlinkCDCHudi构建新的湖仓一体方案,主要内容包括:</p<ol<liFlinkCDC基本知识介绍</li<liHudi基本知识介
Flink 在 58 同城的应用与实践
<blockquote<p本文整理自58同城实时计算平台负责人冯海涛在FlinkForwardAsia2020分享的议题《Flink在58同城应用与实践》,内容包括:</p<ol<li实时计算平台架构</li<li实时SQL建设</li<liStorm迁移
Apache Hudi 在 B 站构建实时数据湖的实践
<blockquote<p本文作者喻兆靖,介绍了为什么B站选择FlinkHudi的数据湖技术方案,以及针对其做出的优化。主要内容为:</p<ol<li传统离线数仓痛点</li<li数据湖技术方案</li<liHudi任务稳定性保障</li<li数据入湖实践</l
万字长文|Hadoop入门笔记(附资料)
大数据迅速发展,但是Hadoop的基础地位一直没有改变。理解并掌握Hadoop相关知识对于之后的相关组件学习有着地基的作用。本文整理了Hadoop基础理论知识与常用组件介绍,虽然有一些组件已经不太常用。但是理解第一批组件的相关知识对于以后的学习很有帮助,未来的很多组件也借鉴了之前的设计理念。文章
Flink Doris Connector设计方案
概述该方案首先感谢社区SparkDorisConnector的作者从Doris角度看,将其数据引入Flink,可以使用Flink一系列丰富的生态产品,拓宽了产品的想象力,也使得Doris和其他数据源的联合查询成为可能从我们业务架构出发和业务需求,我们选择了Flink作为我们架
Flink 在 58 同城的应用与实践
简介:58同城的实时SQL建设以及如何从Storm迁移至Flink。本文整理自58同城实时计算平台负责人冯海涛在FlinkForwardAsia2020分享的议题《Flink在58同城应用与实践》,内容包括:实时计算平台架构实时SQL建设Storm迁移F
Flink 1.14 新特性预览
<blockquote<p本文由社区志愿者陈政羽整理,内容源自阿里巴巴技术专家宋辛童(五藏)在8月7日线上FlinkMeetup分享的《Flink1.14新特性预览》。主要内容为:</p<ol<li简介</li<li流批一体</li<liCheckpoint
伴鱼:借助 Flink 完成机器学习特征系统的升级
<blockquote<p本文作者陈易生,介绍了伴鱼平台机器学习特征系统的升级,在架构上,从Spark转为Flink,解决了特征上线难的问题,以及SQLPythonUDF如何用于生产实践。主要内容为:</p<ol<li前言</li<li老版特征系统V1</li<
Flink 在顺丰的应用实践
<blockquote<p本⽂由社区志愿者苗文婷整理,内容源⾃顺丰科技大数据平台研发工程师龙逸尘在FlinkForwardAsia2020分享的《Flink在顺丰的应用实践》,主要分享内容为:顺丰基于Flink建设实时数仓的思路,引入HudiOnFlink加速数仓宽表,以
已加载文章中没有匹配内容,试试其他关键词或清空搜索。