Hadoop 3.0.3 + Hive3.0安装

Stella981
• 阅读 759

#前言

    今天被问题卡了半天,最后察觉会不会datanode访问不了呢?在团哥的指导下...才发现自己犯了个愚蠢的错误,哎,不说罢。丢人,太粗心了。经过这几天,终于把Hadoop 3.0.3 和 Hive 3.0 搭建好了..不容易啊,搭建好了之后如何使用呢?木知....

#上码

1,下载,解压,变名     wget http://mirrors.hust.edu.cn/apache/hive/hive-3.0.0/apache-hive-3.0.0-bin.tar.gz     tar -xzvf apache-hive-3.0.0-bin.tar.gz      mv apache-hive-3.0.0-bin hive

2,配置环境 vim /etc/profile (在后面追加)     export HIVE_HOME=/home/hive

3,安装Mysql     sudo apt-get install mysql-server     sudo apt-get install libmysql-java     ln -s /usr/share/java/mysql-connector-java.jar $HIVE_HOME/lib/mysql-connector-java.jar

4,导入数据     $ mysql -u root -p     mysql> CREATE DATABASE metastore;     mysql> USE metastore;     mysql> SOURCE $HIVE_HOME/scripts/metastore/upgrade/mysql/hive-schema-3.0.0.mysql.sql;     mysql> CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';      mysql> GRANT all on *.* to 'hive'@localhost identified by 'hive';     mysql> flush privileges;

5,配置hive 环境 (/home/hive/conf)   cp hive-env.sh.template hive-env.sh      vim hive-env.sh       export HADOOP_HOME=/home/hadoop       export HIVE_CONF_DIR=/home/hive/conf

  cp hive-default.xml.template hive-site.xml   vim hive-site.xml (配置路径与mysql)               system:java.io.tmpdir         /user/hive/warehouse                       system:user.name         ${user.name}                      hive.metastore.db.type         mysql                     javax.jdo.option.ConnectionURL         jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true                     javax.jdo.option.ConnectionDriverName         com.mysql.jdbc.Driver                  javax.jdo.option.ConnectionUserName       hive       user name for connecting to mysql server                 javax.jdo.option.ConnectionPassword       hive       password for connecting to mysql server     

6, 创建临时目录     $HADOOP_HOME/bin/hadoop fs -mkdir -p /tmp     $HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse     $HADOOP_HOME/bin/hadoop fs -chmod g+w   /tmp     $HADOOP_HOME/bin/hadoop fs -chmod g+w   /user/hive/warehouse

7,初始化hive     schematool -dbType mysql -initSchema

8,启动 metastore服务 (不启用会报:HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient。)     ./hive --service metastore &

9,进入Hive     $HIVE_HOME/bin/hive     #创建表     hive (default)> CREATE TABLE IF NOT EXISTS test_table                  (col1 int COMMENT 'Integer Column',                      col2 string COMMENT 'String Column'                  )                  COMMENT 'This is test table'                  ROW FORMAT DELIMITED                  FIELDS TERMINATED BY ','                  STORED AS TEXTFILE;

    hive (default)> show tables;         tab_name         test_table

    #写入     hive (default)> insert into test_table values(1,'aaa');         MapReduce Jobs Launched:          Stage-Stage-1: Map: 1  Reduce: 1   Cumulative CPU: 5.54 sec   HDFS Read: 15408 HDFS Write: 243 SUCCESS         Total MapReduce CPU Time Spent: 5 seconds 540 msec         OK         col1 col2         Time taken: 26.271 seconds            #查询     hive (default)> select * from test_table;         test_table.col1 test_table.col2             2 bbb             3 ccc             4 ddd         Time taken: 0.205 seconds, Fetched: 3 row(s)

10,had001 jps     root@had001:/home/hive# jps         6675 SecondaryNameNode         6426 NameNode         6908 ResourceManager         8382 Jps 11,had002,had003 jps     root@had002:~# jps         3300 DataNode         3430 NodeManager         5610 Jps

    #查看是否能连接had001     root@had002:# /home/hadoop/bin/hdfs dfsadmin -report     root@had003:# /home/hadoop/bin/hdfs dfsadmin -report

    #正常有data目录     root@had002:~# tree /usr/local/hadoop/tmp     /usr/local/hadoop/tmp     ├── dfs     │   └── data     │       ├── current     │       │   ├── BP-1834162669-172.17.252.52-1532682436448     │       │   │   ├── current     │       │   │   │   ├── finalized

         12,错误     1,Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Illegal character entity: expansion character (code 0x8  at [row,col,system-id]: [3213,96,"file:/home/appleyuchi/apache-hive-3.0.0-bin/conf/hive-site.xml"]     解决:     /home/appleyuchi/apache-hive-3.0.0-bin/conf/hive-site.xml     上面的第3213行,第96个字符是非法字符,注释掉就行了

    2,hadoop cluder could only be written to 0 of the 1 minReplication nodes     原因是had002,had003连不了had001

参考

https://dzone.com/articles/how-configure-mysql-metastore

http://dwgeek.com/hive-create-table-command-examples.html/

https://blog.csdn.net/yuyanhsf/article/details/81000522

您有什么不同的意见或看法? 欢迎留言共同学习,谢谢。

本文链接:http://www.hihubs.com/article/343

关键字:Hadoop 3.0.3 + Hive3.0安装

若无特别注明,文章皆为Hubs'm原创,转载请注明出处...O(∩_∩)O

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Wesley13 Wesley13
2年前
4cast
4castpackageloadcsv.KumarAwanish发布:2020122117:43:04.501348作者:KumarAwanish作者邮箱:awanish00@gmail.com首页:
Wesley13 Wesley13
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
2年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
2年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
4个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这