HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

技本功|Hive优化之Spark执行引擎参数调优(二)

Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点,因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等因素。

技本功|Hive优化之建表配置参数调优(一)

简介: Hive是大数据领域常用的组件之一,主要用于大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的一个点,因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和Hive

元数据管理|Hive Hooks和Metastore监听器介绍

元数据管理是数据仓库的核心,它不仅定义了数据仓库有什么,还指明了数据仓库中数据的内容和位置,刻画了数据的提取和转换规则,存储了与数据仓库主题有关的各种商业信息。本文主要介绍HiveHook和MetaStoreListener,使用这些功能可以进行自动的元数据管理。通过本文你可以了解到:

数仓开发需要了解的BI数据分析方法

数仓开发经常需要与数据表打交道,那么数仓表开发完成之后就万事大吉了吗?显然不是,还需要思考一下如何分析数据以及如何呈现数据,因为这是发挥数据价值很重要的一个方面。通过数据的分析与可视化呈现可以更加直观的提供数据背后的秘密,从而辅助业务决策,实现真正的数据赋能业务。通过本文你可以了解到:帕累

数仓|Hive性能调优指北

在企业中使用Hive构建离线数仓是一种十分普遍的方案。尽管Hive的使用场景是通过批处理的方式处理大数据,通常对处理时间不敏感。但是在资源有限的情况下,我们需要关注Hive的性能调优,从而方便数据的快速产出。同时,关于Hive的性能调优,也是面试中比较常见的问题,因此掌握Hive性能调优的一些方法,

数仓面试|四个在工作后才知道的SQL密技

SQL是大数据从业者的必备技能,大部分的大数据技术框架也都提供了SQL的解决方案。可以说SQL是一种经久不衰、历久弥新的编程语言。尤其是在数仓领域,使用SQL更是家常便饭。本文会分享四个在面试和工作中常用的几个使用技巧,具体包括:日期与期间的使用临时表与CommonTableEx

Hive基础知识讲解

  今天好程序员大数据培训老师给大家技术介绍一下关于Hive的一些基础知识,首先Hive作为数据仓库,起源于Facebook,工作原理大致可以解释为:对用户输入的HQL语句进行解释,编译,优化并执行生成查询计划,并转化为MapReduce任务进而执行:解释器——编译器——优化器——执行器。  H

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。