MapReduce中partitioner的作用
文章目录
Partitioner决定maptask输出的数据交由哪个reducetask处理
默认处理:分发的key的hash值与reduce task取模
是可以自定义自己的partitioner类的,如果是手机号当key, 186开始的一组,130开始的一组,其他的一组
if(phone.startwith("186") return 2;
elif(phone.startwith("130") return 1;
else return 0
在main里指定reducer的partition为自己自定义的那个即可
同时也要自定义numreducetask为3

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论