Hive(七)Hive参数操作和运行方式

Stella981
• 阅读 522

Hive参数操作和运行方式

1、Hive参数操作

1、hive参数介绍

​ hive当中的参数、变量都是以命名空间开头的,详情如下表所示:

命名空间

读写权限

含义

hiveconf

可读写

hive-site.xml当中的各配置变量例:hive --hiveconf hive.cli.print.header=true

system

可读写

系统变量,包含JVM运行参数等例:system:user.name=root

env

只读

环境变量例:env:JAVA_HOME

hivevar

可读写

例:hive -d val=key

​ hive的变量可以通过${}方式进行引用,其中system、env下的变量必须以前缀开头

2、hive参数的设置方式

​ 1、在${HIVE_HOME}/conf/hive-site.xml文件中添加参数设置

注意:永久生效,所有的hive会话都会加载对应的配置

​ 2、在启动hive cli时,通过--hiveconf key=value的方式进行设置

​ 例如:hive --hiveconf hive.cli.print.header=true

注意:只在当前会话有效,退出会话之后参数失效

​ 3、在进入到cli之后,通过set命令设置

​ 例如:set hive.cli.print.header=true;

--在hive cli控制台可以通过set对hive中的参数进行查询设置
--set设置
    set hive.cli.print.header=true;
--set查看
    set hive.cli.print.header
--set查看全部属性
    set

​ 4、hive参数初始化设置

​ 在当前用户的家目录下创建**.hiverc**文件,在当前文件中设置hive参数的命令,每次进入hive cli的时候,都会加载.hiverc的文件,执行文件中的命令。

注意:在当前用户的家目录下还会存在.hivehistory文件,此文件中保存了hive cli中执行的所有命令

2、hive运行方式

1、hive运行方式分类

​ (1)命令行方式或者控制台模式

​ (2)脚本运行方式(实际生产环境中用最多)

​ (3)JDBC方式:hiveserver2

​ ( 4)web GUI接口(hwi、hue等)

2、hive命令行模式详解

​ (1)在命令行中可以直接输入SQL语句,例如:select * from table_name

​ (2)在命令行中可以与HDFS交互,例如:dfs ls /

​ (3)在命令行中可以与linux交互,例如:! pwd或者! ls /

注意:与linux交互的时候必须要加!

3、hive脚本运行方式
--hive直接执行sql命令,可以写一个sql语句,也可以使用;分割写多个sql语句
    hive -e ""
--hive执行sql命令,将sql语句执行的结果重定向到某一个文件中
    hive -e "">aaa
--hive静默输出模式,输出的结果中不包含ok,time token等关键字
    hive -S -e "">aaa
--hive可以直接读取文件中的sql命令,进行执行
    hive -f file
--hive可以从文件中读取命令,并且执行初始化操作
    hive -i /home/my/hive-init.sql
--在hive的命令行中也可以执行外部文件中的命令
    hive> source file (在hive cli中运行)

​ 4、hive JDBC访问方式,之前讲过,不再赘述

​ 5、Hive GUI方式

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Wesley13 Wesley13
2年前
hive(06)、数据仓库Hive用户图形接口HWI的配置
       在之前的文中我们配置了一个hive监控的web界面的服务,主要用于查看当前HiveServer2服务链接的会话、服务日志、配置参数等信息,这个服务更像是一个hive提供的监控服务,本文我们将配置HWI(HiveWebInterface)hive用户图形接口,这是hive三种用户接口中的其中之一,可以在web界面上对hive服务进行操作
Stella981 Stella981
2年前
Hive 数据导入HBase的2种方法详解
最近经常被问到这个问题,所以简单写一下总结。Hive数据导入到HBase基本有2个方案:  1、HBase中建表,然后Hive中建一个外部表,这样当Hive中写入数据后,HBase中也会同时更新  2、MapReduce读取Hive数据,然后写入(API或者Bulkload)到HBase1、Hive外部表创
Stella981 Stella981
2年前
Hive on Spark参数调优姿势小结
前言HiveonSpark是指使用Spark替代传统MapReduce作为Hive的执行引擎,在HIVE7292提出。HiveonSpark的效率比onMR要高不少,但是也需要合理调整参数才能最大化性能,本文简单列举一些调优项。为了符合实际情况,Spark也采用onYARN部署方式来说明。!(https://imgcon
Stella981 Stella981
2年前
HIVE 常见报错之 设置mysql数据库权限
起因是我把访问权限都配置为:GRANTALLPRIVILEGESON\.\TO'hive'(https://www.oschina.net/action/GoToLink?urlmailto%3A%27hive%27%40%27%25%27)Identifiedby'hive'; 本机地址:192.168.10
Stella981 Stella981
2年前
Hive(2)
 一.Hive下载1\.Hive官网地址http://hive.apache.org/2\.文档查看地址https://cwiki.apache.org/confluence/display/Hive/GettingStarted3\.下载地址http://archive.apac
Stella981 Stella981
2年前
Dbeaver连接Hive和Mysql的配置
1.连接Hive首选需要配置Hive这里我们采用的是JDBC的连接方式(1)在Hive中后台启动hiveserver2root@hadoop101hivebin/hiveserver2&(2)启动beelinebigdata@hadoop101hive$bin/be
Stella981 Stella981
2年前
HiveServer2集成LDAP做用户认证
HiveServer2支持多种认证方式,通过hive.server2.authentication参数来设置,包括nosasl,none,ldap,kerberos,pam,custom本文介绍如何在EMapReduce中使用LDAP配置HiveServer的认证。配置配置值备注hive.server2.au
Stella981 Stella981
2年前
HIVE 时间操作函数
日期函数UNIX时间戳转日期函数: from\_unixtime语法:   from\_unixtime(bigint unixtime\, string format\)返回值: string说明: 转化UNIX时间戳(从19700101 00:00:00 UTC到指定时间的秒数)到当前时区的时间格式举例:hive   selec
京东云开发者 京东云开发者
1个月前
hive 、spark 、flink之想一想
hive1:hive是怎么产生的?2:hive的框架是怎么样的?3:hive执行流程是什么?4:hivesql是如何把sql语句一步一步到最后执行的?5:hivesql任务常用参数调优做过什么?spark6:spark是怎么产生的?7:spark框架是怎么