文章
hive调优
自定义函数hive内置函数不满足业务可以使用java写自定义函数导入hiveUDF函数:大部分都是,一进一出UDAF多进一出如:聚合函数UDTF一进多出如:explodehi
hive配置及内部函数
hive配置及内部函数配置<pre<code全局:hivesite.xml外部命令:./hivehiveconfxxx会话设置(仅会话阶段生效):jdbc:hive2://node3:10000>setmapreduce.job.reduc
(六)Hive分区表和分桶表简介
1.分区表Hive中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。例如按日期分区<pre<codelog_info201901201902201903</code</pre在查询时通过WHERE子句
hive窗口函数/分析函数详细剖析
hive窗口函数/分析函数在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的。但是有时我们想要既显示聚集前的数据,又要显示聚集后的数据,这时我们便引入了窗口函数。窗口函数又叫O
如何 debug Hive 源码,知其然知其所以然
最近在出差,客户现场的HiveServer在很长时间内不可用,查看CM的监控发现,HiveServer的内存在某一时刻暴涨,同时JVM开始GC,每次GC长达1分钟,导致很长时间内,整个HiveServer不可用。查看HiveServer日志发现,在那个内存暴涨的时
(五)Hive常用函数示例
1CASEWHEN示例我们有这样一组数据data1.txt<pre<codeidnamedeptproject1001zhangsansaleA1002lisisaleA1003
九个最容易出错的 Hive sql 详解及使用注意事项
阅读本文小建议:本文适合细嚼慢咽,不要一目十行,不然会错过很多有价值的细节。文章首发于公众号:五分钟学大数据前言在进行数仓搭建和数据分析时最常用的就是sql,其语法简洁明了,易于理解,目前大数据领域的几大主流框架全部都支持sql语法,包括hive,spa
(四)Hive进阶操作-复杂类型操作演示和视图介绍
1.复杂类型这小节演示下Hive的复杂类型,也就是Array、Map和Struct那我们先来一份数据,catdata.txt<pre<code1001zhangsana1,b1,c1a1:88,b1:39,c1:98bj,zs@123.com,
Nebula Exchange 工具 Hive 数据导入的踩坑之旅
!NebulaExchange工具Hive数据导入的踩坑之旅(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/399048aa1e72896f1816630b69ae69ef.png)摘要:本文由社区用户xrfinb
(三)Hive内置运算符、函数
1.内置运算符和函数hive内置一些函数,我们可以通过showfunctions来查看<pre<code0:jdbc:hive2://hadoop10:10000>showfunctions;|
已加载文章中没有匹配内容,试试其他关键词或清空搜索。