APP下载

用MapReduce框架构建虚拟天文台数据节点*

2012-01-25韩冀中崔辰州

天文研究与技术 2012年2期
关键词:数据库

宋 烜,周 薇,韩冀中,崔辰州

(1.北京天文馆,北京 100044;2.中国科学院计算技术研究所,北京 100190;3.中国科学院国家天文台,北京 100012)

1 背景

1.1 虚拟天文台

天文学正进入一个多波段数字巡天的时代,从射电波段到微波、红外、可见光、紫外、X射线,整个波段都会被覆盖。这些巡天项目产生的数据量通常可以达到TB甚至PB,这些数据也成为天文数据的主要来源[1-2]。一方面,天文数据量非常庞大,简单估算可知,以0.5″的分辨率,巡天由2×1012像素构成,仅单一波段的巡天就产生4 TB数据。另一方面,天文数据增长迅速,以斯隆数字巡天SDSS为例,它用了10年时间覆盖8000平方度的天空,得到了大约108个星或者星系的近40 TB的数据。而未来2个巡天计划PanSTARRS和LSST,只需3晚上就可覆盖半个天空,每晚产生的包含5.7×108个源的数据都会超过40 TB[3]。因为天文学家需要从巡天数据中寻找变化,巡天需要不停地进行,会产生数十到百亿个目标的星表,从而形成巨大的数据量。一些大的巡天计划和他们的数据量列表见表1。

为了天文学家和公众可以使用、查询世界上所有望远镜的数据,虚拟天文台的建设提上了日程[4]。虚拟天文台的建设目标就是给全世界天文学家、教师、天文爱好者以及公众提供一个平台,使他们在世界上任何时间任何地点可以协同使用全世界天文数据与计算资源。已经有19个国家和地区开发了符合国际标准[5]的可以相互协作的虚拟天文台系统。

虚拟天文台一经诞生就面临着庞大天文数据存储与计算问题。随着数据量的增长,本地星表交叉认证、聚类等多种数据敏感型的需求在增加。……

登录APP查看全文

猜你喜欢

数据库
数据库
数据库
数据库
数据库
数据库
数据库
数据库
数据库
数据库
数据库