HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
Hive作业产生的临时数据占用HDFS空间大问题处理
Hive作业在运行时会在HDFS的临时目录产生大量的数据文件,这些数据文件会占用大量的HDFS空间。这些文件夹用于存储每个查询的临时或中间数据集,并且会在查询完成时通常由Hive客户端清理。但是,如果Hive客户端异常终止,可能会导致Hive作业的临时或中间数据集无法清理,从而导致Hive作业临时目
Hive调优
Explain查看执行计划在查询语句前加explainsqlexplainselectfromtable;查看详细执行计划explainextendedselectfromtable;建表优化分区表sql创建分区表createtabledeptpartition(deptnoint,dnamest
Hive内置操作符之关系运算符
关系运算符比较两边的结果并返回一个结果值:TRUE或FALSE值,这取决于两边的操作数之间的比较是否有效,因为比较的两边有可能出现null值的情况。除了isnull,isnotnull之外,null在任何关系运算符中出现结果都是null值。等值比较:语法:AB操作类型:所有
Hive 数据倾斜问题定位排查及解决
多数介绍数据倾斜的文章都是以大篇幅的理论为主,并没有给出具体的数据倾斜案例。当工作中遇到了倾斜问题,这些理论很难直接应用,导致我们面对倾斜时还是不知所措。今天我们不扯大篇理论,直接以例子来实践,排查是否出现了数据倾斜,具体是哪段代码导致的倾斜,怎么解决这段代码的倾斜。当执行过程中任务卡在9
Hive日期时间函数总结
这期来讲一下Hive日期和时间函数,因为在一些业务的分析当中,经常要接触到一些和时间有关的分析,例如最近几个月,某项指标的变化情况,那么日期和时间函数还是需要掌握的。下面这个我是按照20210527日期来做的例子:当前日期:selectcurrent_date();结果:2021
Hive小文件问题及处理
作者:张建第一章小文件过多带来的三个影响Hive是一个建立在ApacheHadoop之上建立的一个数仓系统,Hive使用Hadoop中的HDFS组件存储数据文件。在使用hive时通常会遇到小文件问题,即存储在HDFS上的数据文件是明显小于HDFS文件块大小的。小文件问题通常会带来
大数据开发之离线分析工具Hive
Hive是Facebook为了解决海量日志数据的分析而开发的,后来开源给了Apache软件基金会,可见Apache软件基金会是个神奇的组织,大数据培训(https://link.segmentfault.com/?encUTDwMpkHWFJUjv67eau8lg%3D%3D.YSK9V11i
大数据开发之Hive表数据同步至HBase
1.背景当我们需要从Hive或其他异构存储中往HBase里导入大批量数据的时候,走HBase原生API这种方式一定不是最合适的方案,一是数据同步的效率会比较低,大数据培训(https://link.segmentfault.com/?enc9xXaN5ruQTAPyD
大数据开发之Hive调优技巧
1.多次INSERT单次扫描表默认情况下,Hive会执行多次表扫描。因此,如果要在某张hive表中执行多个操作,建议使用一次扫描并使用该扫描来执行多个操作。比如将一张表的数据多次查询出来装载到另外一张表中。如下面的示例,表my_table是一个分区表,分区字段为dt,如大数据培训果需要在
大数据开发之Hive SQL的优化分享
hive的优化主要分为:配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优化这块。优化的核心思想是:减少数据量(例如分区、列剪裁);避免数据倾斜(例如加参数、Key打散);避免全表扫描(例如on添加加上分区等);减少job数(例如相同的on条件的join
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。