HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Flink简介

1. Flink的引入这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有 Hadoop、Storm,以及后来的 Spark,他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河,也以内存为赌注,赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flin

Flink的分布式缓存

分布式缓存Flink提供了一个分布式缓存,类似于hadoop,可以使用户在并行函数中很方便的读取本地文件,并把它放在taskmanager节点中,防止task重复拉取。此缓存的工作机制如下:程序注册一个文件或者目录(本地或者远程文件系统,例如hdfs或者s3),通过ExecutionEnvironment注册缓存文件并为它起一个名称。

Flink的WaterMark,及demo实例

实际生产中,由于各种原因,导致事件创建时间与处理时间不一致,收集的规定对实时推荐有较大的影响。所以一般情况时选取创建时间,然后事先创建flink的时间窗口。但是问题来了,如何保证这个窗口的时间内所有事件都到齐了?这个时候就可以设置水位线(waterMark)。概念:支持基于时间窗口操作,由于事件的时间来源于源头系统,很多时候由于网络延迟、分布式处理,以

Flink架构,源码及debug

序    工作中用Flink做批量和流式处理有段时间了,感觉只看Flink文档是对FlinkProgramRuntime的细节描述不是很多,程序员还是看代码最简单和有效。所以想写点东西,记录一下,如果能对别人有所帮助,善莫大焉。    说一下我的工作,在一个项目里我们在FlinkSQL基础上构建了一个SQLEngine,

Flink整合Oozie Shell Action 提交任务带Kerberos认证

最近这段时间一直在忙新集群迁移,上了最新的cdh6.3.0于是Flink提交遇到了许多的问题,还好有clouderaLicense有了原厂的帮助和社区的伙伴,问题解决起来快了不少。集群具体情况是CDH6.3.0Flink1.8.1,整个数据平台全部组件都上了kerberos和ldap因为要过认证,所以任务提交方法我们选择统一Oozie提交任务

Flink技术实战宝典.pdf

近年来,AI场景发展得如火如荼,同时其计算规模也越来越大。这也让专注于数据处理的Flink有了较大的发展空间。Flink作为在大数据生态里实时处理的一个新框架,在一定程度上也有一定的难度。!(https://oscimg.oschina.net/oscnet/88055ce26e954c86ac75a83feb1e391d.pn

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。