HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Spark源码拜读之RDD的迭代器串联

1.迭代器模式在计算时,为了节省内存,不把所有的数据一次全部加载到内存中,有一种设计模式叫迭代器模式。迭代器模式:在逻辑代码执行时,真正的逻辑并未执行,而是创建了新的迭代器,新的迭代器保存着对当前迭代器的引用从而形成链表,每个迭代器需要实现hasNext(),next()两个

flink DataStream BroadcastStream广播流scala使用示例

1.官网解释广播状态被引入以支持这样的用例:来自一个流的一些数据需要广播到所有下游任务,在那里它被本地存储,并用于处理另一个流上的所有传入元素。作为广播状态自然适合出现的一个例子,我们可以想象一个低吞吐量流,其中包含一组规则,我们希望根据来自另一个流的所有元素对这些规则进行评估。考虑到上述类

大数据面试题总结

1.大数据技术1.1描述一下checkpoint的流程?Checkpoint其实就是所有任务的状态,在某个时间点的一份拷贝(一份快照),这个时间点应该是所有任务都恰好处理完一个相同的输入数据的时候。1.2描述一下两阶段提交?对于每个checkpoint,sink任务

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。