HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Hadoop中间结果lzop压缩

为了节省磁盘空间,文件的存储往往需要压缩,有的需要压缩比大,有的需要压缩速度快。而对于一套计算的结果存储,如多个MapReduce之间,需要能支持分片的压缩方式。lzop就是个可以支持分片的压缩方式,非常适合用于多个MapReduce之间的计算中间结果存储。一、在Hadoop上安装lzo

hadoop配置与wordcount

hadoop配置与wordcount参考的博客大多都是hadoop2.x和低版本的java之上的,配置过程写出来看似很简单,看别人的博客也感觉步骤都差不多,但是自己配置时候出了很多问题:datanode启动不了,网页不能正常显示,datanode莫名死掉,resourcemanager启

大数据工程师的通关攻略

大数据时代下,大数据工程师如何应对?平台型大于业务行大数据工程师所需的核心技能大数据团队构成以及岗位职责简介Hadoop生态研发工程师(平台工程师)对Hadoop生态组件很了解,精度开源框架源码,对业务平台支撑,适合技术极客的人

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。