HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Spark启动及提交流程内部核心原理剖析

ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎,并且拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于需要迭代MapReduce的算法。接下来带大家探

Flink中基于State的有状态计算开发方法

作者:王东阳前言状态在Flink中叫作State,用来保存中间计算结果或者缓存数据。根据是否需要保存中间结果,分为无状态计算和有状态计算。对于流计算而言,事件持续不断地产生,如果每次计算都是相互独立的,不依赖于上下游的事件,则是无状态计算。如果计算需要依赖于之前或者后续的事件,则是有状态计算。

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。