hive(02)、数据仓库Hive的基本使用
在上篇《hive(01)、基于hadoop集群的数据仓库Hive搭建实践(https://my.oschina.net/zss1993/blog/1602402)》一文中我们搭建了分布式的数据仓库Hive服务，本文主要是在上文的基础上结合Hadoop分布式文件系统，将结构化的数据文件映射为一张数据库表，将sql语句转换为MapRedu
Hive中使用row_number() over()创建自增主键
虽然hive中的表没有主键一说，但是实际数据开发中经常需要将hive中计算好的表导出到mysql库中供业务使用或开发调用，而mysql表是需要有主键的，在hive中我们可以使用row\_number()over()窗口函数来生成一个自增序列的字段，在将表导出到mysql库中的时候就可以指定该字段为主键，使用起来还是挺方便的。select
HiveServer2集成LDAP做用户认证
HiveServer2支持多种认证方式，通过hive.server2.authentication参数来设置，包括nosasl,none,ldap,kerberos,pam,custom本文介绍如何在EMapReduce中使用LDAP配置HiveServer的认证。配置配置值备注hive.server2.au
Hive
问题现象写了一个简单的shell脚本调用hive执行组装的sql，在执行时总是报cannotrecognizeinputnear'<EOF'inselectclause错误，单独在hive提示符下却能正常执行。!/bin/bashkeyname"type"sql"select
Hive内嵌字符处理函数：regexp_extract,regexp_replace,split，replace，translate
1.Hive内嵌函数说明 官方地址：hive函数大全官方地址(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fcwiki.apache.org%2Fconfluence%2Fdisplay%2FHive%2FLanguageManual%2BUDF%23Langu
Hive学习之路 （三）Hive元数据信息对应MySQL数据库表
概述Hive的元数据信息通常存储在关系型数据库中，常用MySQL数据库作为元数据库管理。上一篇hive的安装也是将元数据信息存放在MySQL数据库中。Hive的元数据信息在MySQL数据中有57张表!(https://oscimg.oschina.net/oscnet/622274765e1205e906542f39ccb50db93
Hive
解释：1、JVM重用是hadoop调优参数的内容，对hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或者task特别多的场景，这类场景大多数执行时间都很短。hadoop默认配置是使用派生JVM来执行map和reduce任务的，这是jvm的启动过程可能会造成相当大的开销，尤其是执行的job包含有成千上万个task任务的情况。JVM重用可
Hive基础
Hive架构简介下图是hive的架构图!(https://static.oschina.net/uploads/space/2018/0205/003509_Qw6B_1403215.png)命令执行所有的命令和查询都会进入到Driver，通过这个模块进行解析编译，对需求的计算进行优化。然后按照指定的步
DbVisualizer配置连接hive
最近研究hive，打算在windows上用DbVisualizer连接hive写hql。没说的，先在网上搜。。。我参考的文章如下：http://blog.csdn.net/doupeihua/article/details/52557007http://blog.csdn.net/ydb\_jason/article/details/530634