向量分组聚集计算技术研究
2021-06-11张延松
计算机工程与应用 2021年11期
张 宇,张延松
1.国家卫星气象中心,北京100081 2.中国人民大学 信息学院,北京100872
数据库的OLAP查询主要由选择、投影、连接、分组、聚集等基本关系操作组成,其中分组聚集操作需要对海量的事实数据按指定的属性进行分组并执行聚集计算,是一个典型的数据密集型负载,也是一个对查询性能有较大影响的操作符,但OLAP查询性能并不是简单的关系操作符性能的叠加。通过实验测试发现,GPU数据库MapD在连接、分组聚集等主要操作符的性能上较其CPU版本具有显著的优势,但对于查询操作整体而言,即使在查询的数据量低于GPU本地内存的情况下,GPU版本的查询性能也要低于CPU版本。单纯提高关系操作符在GPU上的执行性能并不能最大化GPU数据库整体性能,需要以异构计算平台作为数据库新的硬件假设,优化设计面向异构计算平台的查询处理模型。通过定制面向异构计算平台特征的操作符优化查询算法以提高查询算法与硬件特性的适应性来提升查询性能。
本文以OLAP中重要的分组聚集操作为研究对象,将传统查询处理模型中位于查询树末端的分组聚集操作拆分为分组和聚集计算两个操作,分组操作采用“早分组(early grouping)”策略下推到表扫描阶段并与维表绑定,聚集计算操作采用“晚聚集(late aggregation)”策略保留在查询树末端并与事实表绑定。分组操作融合到连接操作中,通过向量索引实现分组与聚集计算之间的映射。向量索引聚集技术将数据密集型的聚集计算从……
登录APP查看全文
