乔百友 朱俊海 郑宇杰 申木川 王国仁

1(东北大学计算机科学与工程学院 沈阳 110819)2 (杨百翰大学计算机科学系 美国犹他州普若佛 84602)



一种基于Spark的多路空间连接查询处理算法

乔百友1,2朱俊海1郑宇杰1申木川1王国仁1

1(东北大学计算机科学与工程学院 沈阳 110819)2(杨百翰大学计算机科学系 美国犹他州普若佛 84602)

(qiaobaiyou@mail.neu.edu.cn)

针对云环境下空间数据连接查询处理问题，提出了一种基于Spark的多路空间连接查询处理算法BSMWSJ.该算法采用网格划分方法将整个数据空间划分成大小相同的网格单元，并将各类数据集中的空间对象，根据其空间位置划分到相应的网格单元中，不同网格单元中的空间数据对象进行并行连接查询处理.在多路空间连接查询处理过程中，采用边界过滤的方法来过滤无用数据，即通过计算前面连接操作候选结果的MBR来过滤后续连接数据集，从而过滤掉无用的连接对象，减少连接对象的多余投影与复制，并采用重复避免策略来减少重复结果的输出，从而进一步减少后续连接计算的代价.合成数据集和真实数据集上的大量实验结果表明：提出的多路空间连接查询处理算法在性能上明显优于现有的多路连接查询处理算法.

云计算；Spark平台；多路空间连接查询；边界过滤；重复避免

空间数据查询处理技术一直是空间数据管理领域的研究热点，而空间连接查询是一种常用的空间查询类型，也是该领域的重要研究课题之一.空间连接查询……