HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Hadoop知识点总结

本文包含HDFS、Yarn和MapReduce三部分内容,总结了Hadoop的NameNode、2NN、DataNode原理,HDFS存储机制,MapReduce流程,数据倾斜,Yarn工作机制等相关知识要点。一、HDFS部分1、NameNode和SecondaryNam

云湖共生-释放企业数据价值

摘要:2021云栖大会云原生企业级数据湖专场,阿里云智能资深技术专家、对象存储OSS负责人罗庆超为我们带来《云湖共生释放企业数据价值》的分享。本文主要从数据湖存储演进之路、数据湖存储3.0进化亮点等方面分享了云湖共生带来的企业价值。摘要:2021云栖大会云原生企业级数据湖专场,阿里云智能

Hadoop 入门笔记 二十二 : MapReduce实现Join关联操作

一.背景在实际的数据库应用中,我们经常需要从多个数据表中读取数据,这时我们就可以使用SQL语句中的连接(JOIN),在两个或多个数据表中查询数据。在使用MapReduce框架进行数据处理的过程中,也会涉及到从多个数据集读取数据,进行join关联的操作,只不过此时需要使用java代码并且

Hadoop 入门笔记 二十一 : MapReduce DB操作

一.背景知识通常组织会使用关系型数据来存储业务相关的数据,但随着数据的规模越来越大,尤其是像MySQL这种,在单表超过5千万条记录时,尽管对表使用了特定的存储引擎和索引优化,但依然不可避免的存在性能下降问题。此时,我们__可以通过使用MapReduce从MySQL中定期迁移使用频率

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。