文章
Flink是如何支持批流一体的
实现批处理的技术许许多多,从各种关系型数据库的sql处理,到大数据领域的MapReduce,Hive,Spark等等。这些都是处理有限数据流的经典方式。而Flink专注的是无限流处理,那么他是怎么做到批处理的呢?!(https://imghelloworld.osscnbeijing.a
Flink 是如何统一批流引擎的
通常我们在Flink中说批流一体指的是这四个方向,其中Runtime便是Flink运行时的实现。数据交换模型Flink对于流作业和批作业有一个统一的执行模型。!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs
Flink集群有哪些角色?各自有什么作用
flink集群有jobmanager、taskmanager、client三个角色。jobmanager作用:1.负责接收flinkjob,将JobGraph转换成ExecutionGraph,最终将ExecutionGraph拿来运行2.负责管理taskmanager3.负责协调checkpo
知乎利用 JuiceFS 给 Flink 容器启动加速实践
<blockquote本文作者胡梦宇,知乎大数据架构开发工程师,主要负责知乎内部大数据组件的二次开发和数据平台建设。</blockquote背景Flink因为其可靠性和易用性,已经成为当前最流行的流处理框架之一,在流计算领域占据了主导地位。早在18年知乎就引入了Flin
【Calcite】Apache Calcite 校验流程源码解读
1.核心结构与概念Calcite提供的Validator流程极为复杂,但概括下来主要做了这么一件事,对每个SqlNode结合元数据校验其语义是否正确,这些语义包括:验证表名是否存在;select的列在对应表中是否存在,且该匹配到的列名是否唯一,比如
Flink Yarn的2种任务提交方式
PreJob模式介绍每次使用flinkrun运行任务的时候,Yarn都会重新申请Flink集群资源(JobManager和TaskManager),任务执行完成之后,所申请的Flink集群资源就会释放,所申请的Yarn资源是独享的,不与其他任务分享资源。运行命令./bin/flinkrun
5 年迭代 5 次,抖音基于 Flink 的推荐系统演进历程
<blockquote<p本文基于字节跳动推荐系统基础服务方向负责人郭文飞在5月22日ApacheFlinkMeetup分享的《Flink在字节跳动推荐特征体系中的落地实践》整理,主要内容包括:</p<ol<li业务背景</li<li新一代系统架构</li<li后
借助 Flink 与 Pulsar,BIGO 打造实时消息处理系统
<blockquote<p本文整理自BIGOStaffEngineer陈航在FlinkForwardAsia2020分享的议题《借助Flink与Pulsar,BIGO打造实时消息处理系统》。主要内容包括:</p<ol<li关于BIGO</li<liBIGO
Flink+Hudi 构架湖仓一体化解决方案
<blockquote<p本文转载自公众号【麒思妙想】,详细介绍了FlinkHudi湖仓一体化方案的原型构建。主要内容为:</p<ol<liHudi</li<li新架构与湖仓一体</li<li最佳实践</li<liFlinkonHudi</li<liFlink
从 Spark 做批处理到 Flink 做流批一体
<blockquote<p本⽂由社区志愿者苗文婷整理,内容来源⾃LinkedIn大数据高级开发工程师张晨娅在FlinkForwardAsia2020分享的《从Spark做批处理到Flink做流批一体》,分享的主题是如何从Spark做批处理到Flink做流批一体,在
已加载文章中没有匹配内容,试试其他关键词或清空搜索。