您现在的位置是:首页 >技术教程 >HIVE数据抽样网站首页技术教程

HIVE数据抽样

半吊子Kyle 2024-06-17 10:48:24
简介HIVE数据抽样

一、随机抽样

ORDER BY RAND()

order by 是全局排序,可以实现随机抽样

SELECT *
FROM t_student_info
ORDER BY RAND()
LIMIT 10;

-- 按比例抽取
SELECT *
FROM (
      SELECT  * 
              ,rand() as radix
      FROM t_student_info
) t
WHERE radix>=0.0 AND radix<=0.0001 ;

SORT BY RAND()

sort by 提供了单个 reducer 内的排序功能,但不保证整体有序,这个时候其实不能做到真正的随机的,因为此时的随机是针对分区去的,所以如果我们可以通过控制进入每个分区的数据也是随机的话,那我们就可以做到随机了

SELECT *
FROM t_student_info
SORT BY RAND()
LIMIT 10;

DISTRIBUTE BY RAND()

rand函数前的distribute和sort关键字可以保证数据在mapper和reducer阶段是随机分布的,这个时候我们也能做到真正的随机,前面我们也介绍过cluster by 其实基本上是和distribute by sort by 等价的

SELECT *
FROM t_student_info
DISTRIBUTE BY RAND()
SORT BY RAND()
LIMIT 10;

CLUSTER BY RAND()

cluster by 的功能是 distribute by 和 sort by 的功能相结合,distribute by rand() sort by rand() 进行了两次随机,cluster by rand() 仅一次随机,所以速度上会比上一种方法快

SELECT *
FROM t_student_info
CLUSTER BY RAND()
LIMIT 10;

二、分桶抽样(桶表抽样)

hive中分桶其实就是根据某一个字段Hash取模,放入指定数据的桶中,比如将表table按照ID分成100个桶,其算法是hash(id) % 100,这样,hash(id) % 100 = 0的数据被放到第一个桶中,hash(id) % 100 = 1的记录被放到第二个桶中。

分桶抽样语法: TABLESAMPLE (BUCKET x OUT OF y [ON colname])

其中x是要抽样的桶编号,桶编号从1开始,colname表示抽样的列(也就是按照那个字段分桶),y表示桶的数量。 所以表达的意思是按照colname字段分成y桶,抽取其中的第x桶

SELECT *
FROM t_student_info
TABLESAMPLE (BUCKET 1 OUT OF 100000 ON rand()) ;

三、数据块抽样

从 Hive 0.8 开始提供块抽样,使用 tablesample 抽取指定的 行数/比例/大小

-- 抽样1000行
SELECT * 
FROM t_student_info 
TABLESAMPLE(1000 ROWS);

-- 获取20%的数据
SELECT * 
FROM t_student_info 
TABLESAMPLE (20 PERCENT);

-- 抽取特定大小的数据
SELECT * 
FROM t_student_info 
TABLESAMPLE(1M);

四、分层抽样

分层抽样,这里可以分为两种,一种是分层抽个数另外一种是分层抽比例

select
    *
from (
    select
        id,ctime,
        row_number() over(partition by id order by rand() ) as rn
    from
        ods_user_log
) tmp
where rn<=3
;

风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。