HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

浅谈离线数据倾斜

作者:京东零售 荆明岚一、数据倾斜的基本概念1、什么是数据倾斜?用最通俗易懂的话来说,数据倾斜无非就是大量的相同key被partition分配到一个分区里,造成了&39;一个人累死,其他人闲死&39;的情况,这种情况是我们不能接受的,这也违背了并行计

Hive 和 Spark 分区策略剖析

<blockquote作者:vivo互联网搜索团队DengJie</blockquote随着技术的不断的发展,大数据领域对于海量数据的存储和处理的技术框架越来越多。在离线数据处理生态系统最具代表性的分布式处理引擎当属Hive和Spark,它们在分区策略方面有着一些相似之处,但也存在一

Hive查询性能优化

使用explainHive的EXPLAIN命令用于分析Hive查询的执行计划。通过EXPLAIN命令,可以查看Hive在执行查询时的各种优化和执行策略,以及每个任务的资源使用情况和执行顺序等信息。Explain详解(https://link.segmentfault.c

分享一个 hive on spark 模式下使用 HikariCP 数据库连接池造成的资源泄露问题

最近在针对某系统进行性能优化时,发现了一个hiveonspark模式下使用HikariCP数据库连接池造成的资源泄露问题,该问题具有普适性,故特地拿出来跟大家分享下。1问题描述在微服务中,我们普遍会使用各种数据库连接池技术以加快获取数据库连接并执行数据查询的速度,

HiveSQL 工作实战总结

记录一些工作中有意思的统计指标,做过一些简化方便大家阅读,记录如有错误,欢迎在评论区提问讨论~问题类型连续问题两种思路第一种:日期减去一列数字得出日期相同,主要是通过<coderow_number</code窗口函数第二种:后一个日期减去前

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。