Hive小知识之分桶抽样

点击上方蓝色字体,选择“设为星标”

回复”资源“获取更多资源

大数据技术与架构

点击右侧关注,大数据开发领域最强公众号!

暴走大数据

点击右侧关注,暴走大数据!

先把大家都知道的分桶抽样查询 的语法以及用法po出

select * from 分桶表 tablesample(bucket x out of y on 分桶字段);

假设当前分桶表,一共分了z桶!

x: 代表从当前的第几桶开始抽样

0<x<=y

y: z/y 代表一共抽多少桶!

y必须是z的因子或倍数!

怎么抽:从第x桶开始抽,当y<=z每间隔y桶抽一桶,直到抽满 z/y桶

举例1:

select * from stu_buck2 tablesample(bucket 1 out of 2 on id);

从第1桶开始抽,每间隔2桶抽一桶,一共抽2桶!

桶号:x+y*(n-1) 抽0号桶和2号桶

举例2:

select * from stu_buck2 tablesample(bucket 1 out of 1 on id);

从第1桶开始抽,每间隔1桶抽一桶,一共抽4桶!

抽0,1,2,3号桶

举例3:

select * from stu_buck2 tablesample(bucket 2 out of 8 on id);

从第2桶开始抽,一共抽0.5桶!

抽1号桶的一半

然而,当我自己实验时,发现实际情况跟预期有偏差

建表语句:

--创建分桶表

数据:分好的桶如下

然而查询时却发现  本来打算取第2个桶里的4/8 数据,但返回的数据跟预期差得很多

其实

select * from 分桶表 tablesample(bucket x out of y on 分桶字段);
这个抽样查询的底层是把所有数据按照 字段的hash值 % y  分成y 个 区(相当于Hadoop里的分区),然后取第 x 区 中的数据。
之所以没有达到预期的效果,是因为用来测试的数据太少!

欢迎点赞+收藏+转发朋友圈素质三连

文章不错?点个【在看】吧!** 👇**

本文分享自微信公众号 - 大数据技术与架构(import_bigdata)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

评论

暂无评论