HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Hadoop的shuffle

Hadoop系统执行分区,排序,将map输出作为输入传给reducer的过程称为_shuffle_。shuffle是发生在Map方法之后,Reduce方法之前的数据处理过程。map端每一个MapTask处理一个切片,生成的输出并不是简单地将它写到磁盘。会经历以下过程,每

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。