APP下载

HBase中半结构化时空数据存储与查询处理*

2016-07-14封孝生陈晓莹唐九阳

国防科技大学学报 2016年3期

封孝生,张 翀,陈晓莹,唐九阳,葛 斌

(国防科技大学 信息系统工程重点实验室, 湖南 长沙 410073)



HBase中半结构化时空数据存储与查询处理*

封孝生,张翀,陈晓莹,唐九阳,葛斌

(国防科技大学 信息系统工程重点实验室, 湖南 长沙410073)

摘要:针对在HBase中如何进行有效的半结构化时空数据存储和查询问题展开研究,对该问题进行形式化描述,并利用半结构化处理方法TwigStack提出HBase的半结构化时空数据存储模型,在此基础上开展了半结构化的时空范围查询和kNN查询。在真实数据集中进行实验,与需要硬件配置较高的MongoDB进行了对比,结果表明在普通配置的机器上,所提出的半结构化时空查询算法与MongoDB性能相近,在实际中具有优势。

关键词:时空数据;半结构化;HBase;时空范围查询;kNN查询

随着遥感、通信等技术不断深入发展与应用,遥感数据规模呈几何级增长,海量遥感数据的高效的面向时空属性的检索对数据库时空查询处理技术提出了挑战。前序工作中大部分都是考虑如何索引和检索时空属性,而包含了检索关键字的工作又仅仅是考虑结构化的情况,然而对于检索遥感数据,问题背景发生了变化。通常,遥感数据本身并不是文字直接表现的数据,如卫星遥感图像、气象云图等,因此检索遥感数据实际上是对描述遥感数据的元数据(也称编目)进行检索,而元数据是用半结构化树形结构,如可扩展标记语言(eXtensive Markup Language,XML)文件进行描述,那么问题背景就变成了如何针对海量的半结构化数据进行时空+半结构化查询语言(如XPath)的检索。……

登录APP查看全文