万　萌，吴　潮，Ying Zhang，徐　洋，魏建彦

(1. 中国科学院国家天文台，北京　100012；2. 中国科学院大学，北京　100049；3. 荷兰国家数学与计算机科学研究中心，阿姆斯特丹　1098 XG)



GWAC海量星表数据处理的数据库系统选型研究*1

万萌1,2,3，吴潮1，Ying Zhang3，徐洋1，魏建彦1

(1. 中国科学院国家天文台，北京100012；2. 中国科学院大学，北京100049；3. 荷兰国家数学与计算机科学研究中心，阿姆斯特丹1098 XG)

摘要：为应对我国的宽视场地基广角相机阵在大数据管理和实时处理上带来的挑战，提出一种基于列存储数据库MonetDB的时序数据处理与管理系统设计方案。本方案充分利用MonetDB兼具数据处理和管理于一体的数据库平台特点，通过将交叉认证等核心数据处理算法内嵌于数据库中，从而实现将 “计算带到数据中” 的设计理念。同时，对本方案开展了多项关键技术的研究与测试：TPC-H基准性能测试；大数据加载能力测试及优化研究；基于MonetDB的Zone算法实现与测试；可定制函数开发功能的测试。初步的预研结果表明，列存储切实可行，同时对本设计方案作详细的介绍。提出的基于列存储MonetDB数据库设计的海量星表数据处理应用方案，是高效的数据处理与管理为一体的天文数据库解决方案。

关键词：天文数据库；架构设计；MonetDB；实时分析；交叉认证

现代天文观测和数据处理技术的发展，使得时域天文观测朝着更大的视场和更高的时间采样率方向发展成为可能，也给现代时域天文观测注入了新的活力，如超新星尤其是爆发早期超新星的发现，伽玛暴光学余辉的快速响应观测，微引力透镜事件的发现与后随观测等都得益于现代时域天文观测和数据处理技术的发展。……