APP下载

多数据源的关联查询优化技术

2021-04-22郭东新

计算机工程与设计 2021年4期
关键词:关联区域模型

郭东新,张 伟,2+,徐 涛

(1.北京信息科技大学 计算机学院,北京 100101;2.北京信息科技大学 北京材料基因工程高精尖创新中心,北京 100101;3.清华大学 信息技术研究院,北京 100101)

0 引 言

随着大数据时代的到来,感知设备种类越来越丰富,从而产生了海量来源不同的结构化数据。由于存储系统的厂商和架构不同,不同的存储系统存储满足自身特点的数据,造成数据之间互不连通。但是,在不同的存储系统上进行关联查询的业务需求越来越普遍,在一条SQL查询命令中,关系表可能来自多个数据源,并存储在不同的源系统中,且需要将数据从一个存储系统中迁移到另一个存储系统中。因此,研究如何优化数据迁移方向和降低数据迁移量能够提高多数据源的关联查询效率,实现大数据资源的互联互通,为大数据业务的推广提供支持。

为此,本文为了优化数据迁移的方向和降低数据迁移量,提出了一个多数据源的关联查询优化模型MAQM,首先,对新加入模型的存储系统进行初始化,使用包装器对存储系统进行包装;然后,利用我们提出的区域划分策略,以存储系统中的关系表为中心划分出目标关系表区域、条件区域和输出区域3个区间并构建区域有向图,生成多个查询子任务。最后,在区域有向图的基础上,采用数据迁移代价模型确定存储系统间生成的中间结果的传输方向,得到多个子任务的查询顺序。

1 相关工作

目前,国内外学者已经对多数据源关联查询进行了一系列研究,主要分为基于数字图书馆的多数据源查询、基于结构化数据的多数据源关联查询、基于异构数据的多数据源关联查询和多数据源融合查询4种实现方式。……

登录APP查看全文

猜你喜欢

关联区域模型
一半模型
“苦”的关联
重尾非线性自回归模型自加权M-估计的渐近分布
智趣
3D打印中的模型分割与打包
关于四色猜想
分区域
基于严重区域的多PCC点暂降频次估计
区域
语言学与修辞学:关联与互动