HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

好程序员教你大数据必修三大技能 快快记录下来

大数据,人工智能技术引领科技潮流,推开大数据时代的大门!国家点赞!政策扶持,前景斐然!紧接着,学习大数据的人才便如过江之鲫,络绎不绝!整体形势,欣欣向荣!在这里,好程序员为大家送上技术干货,助大家一臂之力,学习大数据技术,一定要注重培训质量,只有如此,方可事半功倍!接下来,就为大家讲解,大数据必修的

好程序员大数据高端班分享 Spark知识点集合

  Spark是基于内存的迭代计算框架,适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多,所需读取的数据量越大,受益越大,数据量小但是计算密集度较大的场合,受益就相对较小(大数据库架构中这是是否考虑使用Spark的重要因素)。  1、Spark的核心是什么?  RDD是Spark的基本

【4.分布式计算】spark

spark和mapreduce(有时候hadoop会指这个,我还是叫hadoop是个整体设计),flink这三个都是并行计算的方式。mapreduce只支持批处理,另外两个都支持,其中spark的流处理基于批处理,flink见:https://segmentfault.com/a/11...

好程序员分享ApacheSpark常见的三大误解

  误解一:Spark是一种内存技术  大家对Spark最大的误解就是其是一种内存技术(inmemorytechnology)。其实不是这样的!没有一个Spark开发者正式说明这个,这是对Spark计算过程的误解。  我们从头开始说明。什么样的技术才能称得上是内存技术?在我看来,就是允许你

Spark in action on Kubernetes - Playground搭建与架构浅析

前言Spark是非常流行的大数据处理引擎,数据科学家们使用Spark以及相关生态的大数据套件完成了大量又丰富场景的数据分析与挖掘。Spark目前已经逐渐成为了业界在数据处理领域的行业标准。但是Spark本身的设计更偏向使用静态的资源管理,虽然Spark也支持了类似Yarn等动态的资源管

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。