HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

11. 安装Hive及MySQL

<blockquoteHive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。

hive 使用优化实践

背景在工作中需要同步pg数据库下的某张表到hive,使用的工具是开源的sqoop,业务表的数据表包含最近一年的数据,数据表的行数为366,830,898,数据表的字段个数为71个,数据表在pg中的空间大小为110G;pg中表没有唯一主键,同一个id的数据可能会出现多次,且都是业务允许的正

Hive JdbcStorageHandler 实践

背景在数据仓库的建设中从业务库同步数据到分析库后者hive是不可避免的流程。在关系型数据库到hive的流程中,现有的业务是用sqoop去同步,但是sqoop1的bug还是有的,例如同步数据的时候的编码问题,特殊字符问题,字段为null的问题等。使用hive的JdbcStorageHan

大数据存储格式的进化之旅

_本文来自OPPO互联网技术团队,转载请注名作者。同时欢迎关注我们的公众号:OPPO_tech,与你分享OPPO前沿互联网技术及活动。_自03年开始,大数据三驾马车纷至沓来,同志们第一次拥有了分布式计算存储能力。这种暴发户式的转变,让人们莫名有了十足的底气:<blockquote“

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。