一种基于Spark的分布式时态索引方法
2018-05-22郑晓东陈德华张碧莹
计算机应用与软件 2018年5期
关键词:优化
郑晓东 王 梅 陈德华 张碧莹
(东华大学计算机科学与技术学院 上海 201620)
0 引 言
大数据时代已然来临。时间作为客观事物的固有属性,几乎所有信息都显式或隐式地具备时态特征。大数据的产生往往也是经过时间累积形成,因此大数据也被理解为针对某个对象在时空两个维度上的“全息”数据。若对数据进行时态的关联分析,有望挖掘出数据的巨大价值,从而使得研究和使用数据的“时态”信息意义日显突出,对时态数据管理查询技术的研究十分迫切。
在考虑数据的时态信息时,被打上时间标签的数据,会伴随着时间的延伸而生效或失效。因此,对于一个实体来说,它会拥有多个数据记录,很明显传统默认时间点的静态“快照”式数据存储模式难以满足时态查询需求。一些时态数据库模型被相继提出,如TimeDB[1]等。与此同时,Oracle、IBM DB2[2]、SAP HANA[3]等知名的商业数据库也开始支持一些简单的时态查询功能,包括时间旅行,时态聚合以及时态连接等。以时态连接为例,检索“在相同时间点中,两个银行账户数据表中存款相同的客户存款额度”,需要在时间以及对象两个维度上进行双向筛选,如何在庞大的数据集进行快速、高效的时态操作执行成为一个十分有挑战性的问题。
索引是数据库中加速查询的有效技术。为此,研究者从不同角度为时态数据模型提出了多种时态索引技术。文献[4]提出的基于B+树Time Index索引以及文献[5]中提出的Historical R树索引对传统树型索引进行扩展已支持时态数据,文献[6]针对时态XML数据,构建不同的时态索引模型以支持时态查询。……
登录APP查看全文
