性能优化技巧:有序分组

史鼐
• 阅读 813

一、 问题背景与适用场景

通常分组计算都采用hash方案,即先计算分组字段的hash值,hash值相同的记录被分拣到一个小集合里,然后在这个小集合中遍历找分组字段值相同的聚合成一组。分组的复杂度(比较次数),取决于hash函数的重码率。在hash空间比较小时,重码率就高,比较次数就会多,性能会受较大影响。为了提高性能,就需要分配较大的内存来存放 hash 表。另外,有些数据类型(长字串)的 hash 计算也比较慢,这也会影响性能。

如果分组字段是有序的,在分组的时候,每条记录只与上一条记录比较,发现有不同时则新建一个分组,相同则聚合到当前组中。这样的分组运算的复杂度为n(被分组集合的长度),而且没有 hash 计算和重码率的问题,可以获得比 hash 分组更快的性能,而且并不需要太多内存用于存放 hash 表。

SPL提供了这种分组方法,我们实例测试一下,并且与使用hash分组算法的Oracle对比。

二、 测试环境

测试机有两个Intel2670 CPU,主频2.6G,共16核,内存64G,SSD固态硬盘。在此机上安装虚拟机来测试,设置虚拟机为16核、8G内存。

三、 小数据量小结果集测试

在虚拟机上创建数据表orderdetail_1,共三个字段:orderid(整数)、detailid(整数)、amount(实数),前两个字段是主键,生成数据记录8千万行。将此表数据导入Oracle数据库,同时用它生成集算器SPL组表来进行测试。

orderid字段数据升序排列,按orderid进行分组,共有50组,统计每张订单的总金额和明细条数。

  1. Oracle测试

编写查询测试SQL如下:

select /+ parallel(n) /

orderid, sum(amount) as amount, count(detailid) as details

from orderdetail_1

group by orderid;

其中/+ parallel(n) / 用于并行测试,n为并行数。

  1. SPL测试

编写SPL脚本如下:

性能优化技巧:有序分组

groups分组时加选项@o就适用分组字段有序时,只比较相邻行的值进行有序分组。

  1. 测试结果

测试结果如下,单位(秒):

性能优化技巧:有序分组

在8千万行数据的情况下,SPL有序分组的性能提高了一倍左右,并且并行的效果非常好,性能呈线性上升。而使用hash分组的Oracle并行提速效果并不明显。

性能提高程序与数据量有关,当数据量很小时,分组时间占整个查询时间的比例很小,对整体性能的提高也就不明显。但随着数据量的增加,提升效果就会越来越显著。

下面我们再来看看大数据量测试的情况。

四、 大数据量大结果集测试

在虚拟机上创建数据表orderdetail_2,共三个字段:orderid(字符串)、detailid(整数)、amount(实数),前两个字段是主键,生成数据记录24亿行。将此表数据导入Oracle数据库,同时用它生成集算器SPL组表来进行测试。

orderid字段数据升序排列,按orderid进行分组,共有8亿组,统计每张订单的总金额和明细条数。由于查询出的大结果集在Oracle输出需要很长的时间,所以对分组结果再进行一次过滤,只输出订单总金额小于35元的订单,结果只有12条,输出就几乎不占时间了。

  1. Oracle测试

编写查询测试SQL如下:

select * from (

select /+ parallel(n) /

orderid, sum(amount) sum_amount, count(detailid) as details

from orderdetail_2

group by orderid

)

where sum_amount<35;

其中/+ parallel(n) / 用于并行测试,n为并行数。

  1. SPL测试

编写SPL脚本如下:

性能优化技巧:有序分组

由于分组结果集很大,无法全部装载到内存,所以使用group函数进行有序分组,返回分组结果集对应的游标,再对游标过滤后取得需要的查询结果。

  1. 测试结果

测试结果如下,单位(秒):

性能优化技巧:有序分组

在不并行的情况下,SPL有序分组比Oracle性能提升了近6倍左右。因SPL有序分组方法很适合并行,随着并行数的增加,性能提升的效果就越好。

点赞
收藏
评论区
推荐文章
Wesley13 Wesley13
4年前
Java中HashMap的实现原理
总结:HashMap的实现原理:1.利用key的hashCode重新hash计算出当前对象的元素在数组中的下标2.存储时,如果出现hash值相同的key,此时有两种情况。(1)如果key相同,则覆盖原始值;(2)如果key不同(出现冲突),则将当前的keyvalue放入链表中3.获取时,直接找到hash值对应
Stella981 Stella981
4年前
HashMap中神奇的h & (length
众所周知,HashMap是基于Hash表的Map接口实现,HashMap实际上是一个“链表散列”的数据结构,即数组和链表的结合体。HashMap中主要是通过key的hashCode来计算hash值的,只要hashCode相同,计算出来的hash值就一样。但是知道了Hash值之后,又是怎么确定出key在数组中的索引呢?根据源码得知如下方法static
Wesley13 Wesley13
4年前
JAVA_RSA_的加解密
RSA为非对称加密算法。数字签名的过程:1、对明文数据进行HASH加密,不可逆;2、对加密后的数据再用RSA的私钥进行二次加密。数字签名的验证过程:1、对明文数据进行HASH加密,不可逆;2、用RSA的公钥对数字签名后的数据进行解密;3、把1的结果和2的结果进行比较是否相等。RSA加密的过程和解密的过程都需要三步:加/解密、分组、填充。这三部分每
Stella981 Stella981
4年前
Hash冲突和一致性
对于hash算法,有几个问题避无可避的。问题1:hash冲突的问题?1\.背景介绍:在数据量很大的时候,就会出现hash之后的数值,指向相同的位置,也就是所谓的hash冲突。这个取决于hash算法的好坏,以及数据量的大小,hash算法越差,数据量越大,hash冲突的概率就会越大。2\.然而一旦出现了hash冲突,我们该怎么办
Wesley13 Wesley13
4年前
PHP中HASH函数的优化技巧
Hash数据结构是一种非常常见的数据结构,作为一个程序员,你可能每天都在和它接触,尽管很多时候你可能没有意识到。Hash在PHP内核中扮演了非常重要的角色,数组、变量作用域、函数参数列表等均是基于Hash实现。所以,在PHP里你能看到各种对于Hash的优化。Hash数据结构Hash数据结构,本质上为了解决计算机中真正意义的数组只能使用数字作
Wesley13 Wesley13
4年前
Oracle 的开窗函数 rank,dense_rank,row_number
1、开窗函数和分组函数的区别分组函数是指按照某列或者某些列分组后进行某种计算,比如计数,求和等聚合函数进行计算。开窗函数是指基于某列或某些列让数据有序,数据行数和原始数据数相同,依然能曾现个体数据的原貌。事例数据createtablestudent\_scores(stu\_idvarchar2(10),学号stu\_n
Wesley13 Wesley13
4年前
Mysql 表分区分类
针对Mysql数据库,表分区类型简析。【1】表分区类型(1)Range分区:按范围分区。按列值的范围区间进行分区存储;比如:id小于10存储在一个分区;id大于10小于20存储在另外一个分区;(2)List分区:按离散值集合分区。与range分区类似,不过它是按离散值进行分区。(3)Hash分区:按hash算法结果分区。对用户定义的表达式所返
Stella981 Stella981
4年前
CodeForces985F:Isomorphic Strings (字符串&hash)
题意:取出字符串Str里的两个串S,T,问对应位置的的字符在否有一一映射关系。hash:对于每个字符s‘a’‘z’,我们任意找一个i,满足Sis,(代码里用lower\_bound在区间找到最小的位置i)其对应的字符为Tit。然后我们判断这段区间里s的hash值是否等于t的hash值。不难证明26个字母都满足时对应hash相同时,才有
Wesley13 Wesley13
4年前
MySQL分组,聚合函数,连表查询,子查询
\分组:  setglobalsql\_mode"strict\_trans\_tables,only\_full\_group\_by"; 更改数据库模式,在分组后,只能显示被分组字段和使用聚合函数选取出来的字段.  groupbygroup\_concat  !(https://oscimg.oschina.net/
Wesley13 Wesley13
4年前
mysql 分组查询教程
1.分组  分组就是将一个“数据集”划分成若干个“小区域”,然后针对若干个“小区域”进行数据处理。2.分组的特点  1.)groupby的含义:将查询结果按照1个或多个字段进行分组,字段值相同的为一组  2.)groupby可用于单个字段分组,也可用于多个字段分组3分组的用法select字段名from数据表gro
Wesley13 Wesley13
4年前
MongoDB学习(使用分组、聚合和映射
使用分组、聚合和映射归并    MongoDB的强大功能之一,是直接在服务器对文档的值进行复杂的操作,而不用先发文档发送到客户端在进行处理。结果分组  对大型数据集进行查询操作时,通常会根据文档的字段值对其进行分组。这可以在取回文档后通过代码来完成,但在服务器端查找的同时进行分组效率跟高。  要将查询