HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Hadoop学习笔记:Hadoop安装(本地安装)

最近开始研究大数据这块,现在从最基础的Hadoop开始,后续将逐渐学习Hadoop整个生态圈的各个部分组件。Hadoop安装分为本地安装、伪分布式、完全分布式和高可用分布式,这里为个人学习用(实际情况是本人没有那么多机器,装虚拟机的话,内存可能也不够,T\_T),仅涉及到本地安装和伪分布式安装。环境准备操作系统信

Hadoop大数据生态系统及常用组件简介

过多年信息化建设,我们已经进入一个神奇的“大数据”时代,无论是在通讯社交过程中使用的微信、QQ、电话、短信,还是吃喝玩乐时的用到的团购、电商、移动支付,都不断产生海量信息数据,数据和我们的工作生活密不可分、须臾难离。什么是大数据什么是大数据,多大算大,100G算大么?如果是用来存储1080P的高清电影,也就是几部影片的容量。但是如果100G都

Hadoop大数据平台入门——HDFS和MapReduce

随着硬件水平的不断提高,需要处理数据的大小也越来越大。大家都知道,现在大数据有多火爆,都认为21世纪是大数据的世纪。当然我也想打上时代的便车。所以今天来学习一下大数据存储和处理。随着数据的不断变大,数据的处理就出现了瓶颈:存储容量,读写速率,计算效率等等。google不愧是走在世界前列的大公司,为了处理大数据,google提出了大数据技术,MapRe

Hadoop压缩

一、Hadoop压缩简介1、hadoop的3个阶段(1)分布式文件系统HDFS(2)分布式编程框架MapReduce(3)yarn框架2、Hadoop数据压缩MR操作过程中进行大量数据传输。压缩技术能够有效的减少底层存储(HDFS)读写字

Hadoop兮,杀鸡别用牛刀,python+shell实现一般日志文件的查询、统计

简单的日志统计是不需要使用重量级的Hadoop,我用python实现了日志的统计。原理是用fabric登录到远程linux,组合使用grep、uniq、sort、awk对日志进行操作,可以根据正则表达式指定规则抽取符合规则的日志,做查询,计数,分类统计。注意:要安装fabric(https://www.oschina.net/action/GoToL

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。