HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Spark源码解析-textFile

概述RDD是Spark的核心,其创建方式可以通过其他RDD转换而来,或者从存储系统中创建,比如本地文件系统或者hdfs。其中SparkContext中的textFile便可以从文件系统中生产RDD,其实质便是new出了RDD的实例,其中一个重要的信息便是分区。下面将详细介绍。

高德SD地图数据生产自动化技术的路线与实践(道路篇)

一、背景及现状近些年,国内道路交通及相关设施的基础建设日新月异。广大用户日常出行需求旺盛,对所使用到的电子地图产品的数据质量和现势性提出了更高的要求。传统的地图数据采集和生产过程,即通过采集设备实地采集后对采集资料进行人工处理的模式,其数据更新慢、加工成本高等问题矛盾日益突显。高德地

数据分析——每个人都应该掌握的能力

前不久有人让我帮其整理一些数据,用来做产品的推广。感觉这种思维非常重要,我们现在处在一个遍地都是信息的社会,如果能让这些信息为我们所用,做很多事情都必定是大有裨益。什么时候会用到数据分析的能力实际非常重要。找工作,买房子,租房子,做产品推销,甚至炒股,金融,方方面面其实都

Spark源码学习--内置RPC框架(1)

在Spark中很多地方都涉及网络通信,比如Spark各个组件间的消息互通、用户文件与Jar包的上传、节点间的Shuffle过程、Block数据的复制与备份等。在Spark0.x.x与Spark1.x.x版本中,组件间的消息通信主要借助于Akka,使用Akka可以轻松地构建强有力的高并发与分布式应

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。