文章
Spark Python 快速体验
Spark是2015年最受热捧大数据开源平台,我们花一点时间来快速体验一下Spark。Spark技术栈!(http://static.oschina.net/uploads/space/2016/0331/103717_d6qN_1450051.png)如上图所示,Spark的技术栈包括了这些模块:核心模块:Spark
Serverless在大规模数据处理的实践
云栖号资讯:【点击查看更多行业资讯(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fyqh.aliyun.com%2F%3Fcate%3D%25E8%25B5%2584%25E8%25AE%25AF)】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!
Serverless 在大规模数据处理的实践
!1.png(https://ucc.alicdn.com/pic/developerecology/721886c0cca14facb10d8ffc92cab3e0.png)作者| 西流 阿里云技术专家<关注阿里巴巴云原生公众号,后台回复 606 即可下载相关PPT前言当您第一次接触Serverless的时候
SPARK中文峰会(二)上海会场预告|Ray On Spark
本周六下午,上海会场的讲师已经准备就绪~SPARKAISUMMIT2020中文精华版线上峰会,十四位来自北京、上海、杭州、硅谷的PMC和意见领袖,一一还原英文现场的经典分享。除Databricks、Facebook、阿里巴巴、Intel、领英等一线厂商的经典应用场景外,还有Ray、SQL、StructuredStreamin
PySpark简介及详细安装教程
Spark在前面已经和大家说过很多了,Python这几天也整理出了很多自己的见解,今天就和大家说下一个新的东西,PySpark,一看名字就知道和前面二者都有很大关系,那么PySpark到底是什么,和之前所说的Spark与Python有什么不一样的呢?今天就和大家简单的聊聊。回忆下Spark的简介:Spark是一种通用的大数据计算框架,是基于
MapReduce统计单词
一、HDFS个人理解 HDFS是个文件系统,只不过加了个分布式作为文件系统的前缀而已,大概的结构就像LINUX系统。文件大的一个电脑存储不下,怎办?那就想办法存储到不同的机子上呗,于是HDFS就应用而生了。众所周知,文件在硬盘上是以文件块的形式存储。什么句柄啊,真心不懂,只能感知,没人能明白0和1,当然也没必要。二、Map个人理解
Hadoop面试45个题目及答案
本人博客开始迁移,博客整个架构自己搭建及编码http://www.cookqq.com/listBlog.action(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.cookqq.com%2FlistBlog.action)1.Hadoop集群可以运行的3个模式?
Hadoop框架:MapReduce基本原理和入门案例
本文源码:GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fbigdataparent)||GitEE·点这里(https://gitee.com/cicadasmile/bigdataparent
Hadoop所支持的几种压缩格式
Gzip压缩优点:压缩率比较高,而且压缩/解压速度也比较快;hadoop本身支持,在应用中处理gzip格式的文件就和直接处理文本一样;有hadoop native库;大部分linux系统都自带gzip命令,使用方便。缺点:不支持split。应用场景:当每个文件压缩之后在130M以内的(1个块大小内),都可以考虑用gzip压缩格式。譬如说一
Hadoop学习笔记(概述)
Apachehadoop是什么? 可靠的,可扩展的分布式计算软件。(1)可使用简单的编程模型来分布式计算集群中的大量数据集。(2)可从一台服务器扩展到数千台服务器的计算和存储(3)在应用层面发现并处理错误Hadoop项目的几大模块(1)HadoopCommon: 支持其他hadoop模块的通用
已加载文章中没有匹配内容,试试其他关键词或清空搜索。