文章
Hive迁移Presto的技术实践
_本文来自OPPO互联网技术团队,如需要转载,请注明出处及作者。欢迎关注我们的公众号:OPPO_tech_hive设计之初,就被定位一款离线数仓产品,虽然Hortonworks喊出了MakeApacheHive100xFaster的牛逼口号,也在上面做了大量的优化,然而性能提升依旧不大。
Hive运行时MapReduce、NodeManager内存不足解决办法
Hive任务运行时报错:Status:FailedApplicationapplication_1574770014204_0003failed2times
解决Hive中文乱码
解决Hive中文乱码第一步:先停止mysql服务:servicemysqlstop在/usr/my.cnf中的mysqld后添加以下内容: init_connect&39;SETcollation_connectionutf8_unicode_ci&39;
Hive数据如何同步到MaxCompute之实践讲解
<blockquote<strong摘要:</strong本次分享主要介绍Hive数据如何迁移到MaxCompute。MMA(MaxComputeMigrationAssist)是一款MaxCompute数据迁移工具,本文将为大家介绍MMA工具的功能、技术架构和实现原理,再通过实际操作
hive导入数据的三种方式
首先我们在hive中要建好一个表,这里用比较难的方式来假设,假设是外部表并且是分区表stg.test,按bus_date(string)分区。方式一:上传数据后修复首先上传数据到HDFS中:<pre<codehadoopfsmkdirp/user/hive
DBeaver 连接hive需注意的事项
最近项目在用hive做数据仓库,但是hive在命令行下的观感不友好,写命令也不是很方便,于是寻找一个能连接hive的可视化工具,于是找到了DBeaver,真是十分好用,hive,spark,mysql,sqlserver等一把梭,但是在参照网上的连接步骤后,怎么都连不上hive,最后在慕课的某个笔记
Hive初识
HiveHive是什么Hive是一个SQL解析引擎,将SQL语句转译成MRJob,然后再在Hadoop平台上运行,达到快速开发的目的。Hive中的表,是纯逻辑表,它本身不存储数据,只存储表的定义即表的元数据信息。本质就是Hadoop的目录/文件,因此达到元数据
Hive正则解析器RegexSerDe解析日志
背景工作中负责某OTA某业务线的数据,接手的数据中包括流量数据。原有的解析流程是将日志文件从存储池上传到hdfs,然后通过hadoopmapreduce任务去格式化解析,解析后的数据导入特定的hive表对应的目录中。这个日志解析的流程有优势也有劣势:优势:日志解析实现上会比较
好程序员大数据学习路线分享hive分区和分桶
好程序员大数据学习路线分享hive分区和分桶,hive分区1.为什么要分区??当单个表数据量越来越大的时候,hive查询通常会全表扫描,这将会浪费我们不关心数据的扫描,浪费大量时间。从而hive引出分区概念partition2.怎么分区??看具体业务,能把一堆数据拆分成多个堆的数据就可以。通常使用
HIve的安装
1hadoophive的使用依赖hadoop,所以先介绍hadoop。1.1hadoop下载和安装笔者是在Centos7.3上安装的hadoop,使用的是hadoop3.2的版本。直接按照hadoop2.9文档(https://link.segmentfa
已加载文章中没有匹配内容,试试其他关键词或清空搜索。