HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

2018年第22周-大数据的HDFS

Hadoop与大数据Hadoop可以说是大数据的代名词。其实准确来说是Hadoop家族是大数据的代名词,家族成员有:Hadoop、Hive、Pig、HBase、Sqoop、Zookeeper、Avro、Chukwa等。家族成员每个基本都可以独挡一面,但结合他们,就可以架构出一个大数据平

5.Sqoop

介绍:sqoop是一个用来完成Hadoop和关系型数据库的数据相互转移的工具将(mysql,oracle,postgre等)中的数据导入hadoop的HDFS也可反向导入配置到master机器即可1.将sqoop解压到/opt/sqoop下2.配置Sqoo

Hadoop回收站及fs.trash参数详解

前言:Linux系统里,个人觉得最大的不方便之一就是没有回收站的概念。rmrf很容易造成极大的损失。而在Hadoop或者说HDFS里面,有trash(回收站)的概念,可以使得数据被误删以后,还可以找回来。Hadoop里的trash选项默认是关闭的,所以如果要生效,需要提前

2018年第21周-以我角度看大数据

以我角度看大数据最近公司开启了大数据项目,有幸的,我能够有个平台学习和实践大数据。研究和实验了两个月,虽然都是属于个人研究,但还是有所体会。在此分享给大家。既然要从我的角度说大数据,那我得说下我的背景,我写Java已有很多很多年了,工作也快有6年了。专业是软件工程,所以代码经验和功底还是

3.安装Hive

版本问题:起初安装hive2.1.1但是跟hadoop2.6.5无法使用启动提示Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient版本过高导致的<pre<code书中记

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。