APP下载

一种基于Spark的分布式时态索引方法

2018-05-22郑晓东陈德华张碧莹

计算机应用与软件 2018年5期
关键词:优化

郑晓东 王 梅 陈德华 张碧莹

(东华大学计算机科学与技术学院 上海 201620)

0 引 言

大数据时代已然来临。时间作为客观事物的固有属性,几乎所有信息都显式或隐式地具备时态特征。大数据的产生往往也是经过时间累积形成,因此大数据也被理解为针对某个对象在时空两个维度上的“全息”数据。若对数据进行时态的关联分析,有望挖掘出数据的巨大价值,从而使得研究和使用数据的“时态”信息意义日显突出,对时态数据管理查询技术的研究十分迫切。

在考虑数据的时态信息时,被打上时间标签的数据,会伴随着时间的延伸而生效或失效。因此,对于一个实体来说,它会拥有多个数据记录,很明显传统默认时间点的静态“快照”式数据存储模式难以满足时态查询需求。一些时态数据库模型被相继提出,如TimeDB[1]等。与此同时,Oracle、IBM DB2[2]、SAP HANA[3]等知名的商业数据库也开始支持一些简单的时态查询功能,包括时间旅行,时态聚合以及时态连接等。以时态连接为例,检索“在相同时间点中,两个银行账户数据表中存款相同的客户存款额度”,需要在时间以及对象两个维度上进行双向筛选,如何在庞大的数据集进行快速、高效的时态操作执行成为一个十分有挑战性的问题。

索引是数据库中加速查询的有效技术。为此,研究者从不同角度为时态数据模型提出了多种时态索引技术。文献[4]提出的基于B+树Time Index索引以及文献[5]中提出的Historical R树索引对传统树型索引进行扩展已支持时态数据,文献[6]针对时态XML数据,构建不同的时态索引模型以支持时态查询。……

登录APP查看全文

猜你喜欢

优化
超限高层建筑结构设计与优化思考
PEMFC流道的多目标优化
民用建筑防烟排烟设计优化探讨
关于优化消防安全告知承诺的一些思考
一道优化题的几何解法
由“形”启“数”优化运算——以2021年解析几何高考题为例
围绕“地、业、人”优化产业扶贫
事业单位中固定资产会计处理的优化
4K HDR性能大幅度优化 JVC DLA-X8 18 BC
几种常见的负载均衡算法的优化