HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

SPARK中文峰会(二)上海会场预告|Ray On Spark

本周六下午,上海会场的讲师已经准备就绪~SPARKAISUMMIT2020中文精华版线上峰会,十四位来自北京、上海、杭州、硅谷的PMC和意见领袖,一一还原英文现场的经典分享。除Databricks、Facebook、阿里巴巴、Intel、领英等一线厂商的经典应用场景外,还有Ray、SQL、StructuredStreamin

PySpark简介及详细安装教程

Spark在前面已经和大家说过很多了,Python这几天也整理出了很多自己的见解,今天就和大家说下一个新的东西,PySpark,一看名字就知道和前面二者都有很大关系,那么PySpark到底是什么,和之前所说的Spark与Python有什么不一样的呢?今天就和大家简单的聊聊。回忆下Spark的简介:Spark是一种通用的大数据计算框架,是基于

MapReduce统计单词

一、HDFS个人理解      HDFS是个文件系统,只不过加了个分布式作为文件系统的前缀而已,大概的结构就像LINUX系统。文件大的一个电脑存储不下,怎办?那就想办法存储到不同的机子上呗,于是HDFS就应用而生了。众所周知,文件在硬盘上是以文件块的形式存储。什么句柄啊,真心不懂,只能感知,没人能明白0和1,当然也没必要。二、Map个人理解

Hadoop所支持的几种压缩格式

Gzip压缩优点:压缩率比较高,而且压缩/解压速度也比较快;hadoop本身支持,在应用中处理gzip格式的文件就和直接处理文本一样;有hadoop native库;大部分linux系统都自带gzip命令,使用方便。缺点:不支持split。应用场景:当每个文件压缩之后在130M以内的(1个块大小内),都可以考虑用gzip压缩格式。譬如说一

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。