APP下载

面向海量天文数据的分布式MySQL锥形检索研究*

2021-07-15卫守林

天文研究与技术 2021年3期
关键词:数据库

杨 超,梁 波,2,戴 伟,2,卫守林,2,邓 辉,王 锋

(1. 昆明理工大学信息工程与自动化学院,云南 昆明 650500;2. 昆明理工大学云南省计算机技术应用 重点实验室,云南 昆明 650500;3. 广州大学天体物理中心, 广东 广州 510006)

近年来,随着大型天文观测装置的性能不断提升,以及获取天文观测数据的能力空前加强,天文观测数据呈现指数式增长。如我国自主设计研发的大天区面积多目标光纤光谱天文望远镜(Large Sky Area Multi-object Fiber Spectro-scopic Telescope, LAMOST, 又叫郭守敬望远镜)每晚采集的光谱数据达到20 GB[1];鲁宾天文台(Vera C. Rubin Observatory)的大口径全天巡视望远镜(Large Synoptic Survey Telescope, LSST)每晚采集的原始观测数据多达15 TB;平方公里阵列(Square Kilometre Array, SKA)是国内外共同协作的大科学装置,是世界上最大的射电望远镜[2],预计每年产出数据约300 PB。在大数据时代背景下,探索海量天文数据如何高效、可扩展的检索成为天文科学观测领域亟待解决的难题。

科学检索传统上依赖于关系型数据库,对于非海量的结构化数据,通过建立数据索引机制能够取得较好的检索效率。但是,随着天文观测逐渐从光学覆盖到全波段,传统数据库无法适应数据雪崩式增长带来的冲击。NoSQL系统通常使用键值存储格式,同一键下的所有数据值存储在一起并可以快速访问。文[3]提出了AstroSpark天文检索系统,文[4]实现了基于分布式阵列数据库的FASTDB系统,它们具有低延迟、可扩展、高性价比等优点。但是,由于采用了底层存储格式,它们缺乏关系模型的高级功能,并且损害了ACID(Atomicity, Consistency, Isolation, Durability)属性[5]。近年来,NoSQL演变到NewSQL,NewSQL系统本质上是一个数据库管理……

登录APP查看全文

猜你喜欢

数据库
数据库
数据库
数据库
数据库
数据库
数据库
数据库
数据库
数据库
数据库