HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Hive作业产生的临时数据占用HDFS空间大问题处理

Hive作业在运行时会在HDFS的临时目录产生大量的数据文件,这些数据文件会占用大量的HDFS空间。这些文件夹用于存储每个查询的临时或中间数据集,并且会在查询完成时通常由Hive客户端清理。但是,如果Hive客户端异常终止,可能会导致Hive作业的临时或中间数据集无法清理,从而导致Hive作业临时目

Hive调优

Explain查看执行计划在查询语句前加explainsqlexplainselectfromtable;查看详细执行计划explainextendedselectfromtable;建表优化分区表sql创建分区表createtabledeptpartition(deptnoint,dnamest

Hive内置操作符之关系运算符

关系运算符比较两边的结果并返回一个结果值:TRUE或FALSE值,这取决于两边的操作数之间的比较是否有效,因为比较的两边有可能出现null值的情况。除了isnull,isnotnull之外,null在任何关系运算符中出现结果都是null值。等值比较:语法:AB操作类型:所有

Hive 数据倾斜问题定位排查及解决

多数介绍数据倾斜的文章都是以大篇幅的理论为主,并没有给出具体的数据倾斜案例。当工作中遇到了倾斜问题,这些理论很难直接应用,导致我们面对倾斜时还是不知所措。今天我们不扯大篇理论,直接以例子来实践,排查是否出现了数据倾斜,具体是哪段代码导致的倾斜,怎么解决这段代码的倾斜。当执行过程中任务卡在9

Hive日期时间函数总结

这期来讲一下Hive日期和时间函数,因为在一些业务的分析当中,经常要接触到一些和时间有关的分析,例如最近几个月,某项指标的变化情况,那么日期和时间函数还是需要掌握的。下面这个我是按照20210527日期来做的例子:当前日期:selectcurrent_date();结果:2021

Hive小文件问题及处理

作者:张建第一章小文件过多带来的三个影响Hive是一个建立在ApacheHadoop之上建立的一个数仓系统,Hive使用Hadoop中的HDFS组件存储数据文件。在使用hive时通常会遇到小文件问题,即存储在HDFS上的数据文件是明显小于HDFS文件块大小的。小文件问题通常会带来

大数据开发之Hive调优技巧

1.多次INSERT单次扫描表默认情况下,Hive会执行多次表扫描。因此,如果要在某张hive表中执行多个操作,建议使用一次扫描并使用该扫描来执行多个操作。比如将一张表的数据多次查询出来装载到另外一张表中。如下面的示例,表my_table是一个分区表,分区字段为dt,如大数据培训果需要在

大数据开发之Hive SQL的优化分享

hive的优化主要分为:配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优化这块。优化的核心思想是:减少数据量(例如分区、列剪裁);避免数据倾斜(例如加参数、Key打散);避免全表扫描(例如on添加加上分区等);减少job数(例如相同的on条件的join

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。