过汇卿 王 梅 乐嘉锦

(东华大学计算机科学与技术学院 上海 201620)



一种面向CASA的分布式数据存储策略

过汇卿 王 梅 乐嘉锦

(东华大学计算机科学与技术学院 上海 201620)

随着天文设备的进步发展，对海量天文数据处理形成了新的挑战。为使当前主流的天文数据分析软件可以有效处理海量数据，提出一种适用于射电天文处理上层应用的分布式数据存储策略DDSS(Distributed Data Storage Strategy)。首先，设计分布式数据存储策略的系统框架。其次，设计混合分片列式存储方法，在保留列存储查询优势的同时提升了数据导入的速度。进一步，通过维护基于相对位置映射的元数据来快速读取包含大量数据的天文阵列数据，显著地提升了天文处理应用底层数据读写的吞吐量。最后，通过实验证明了该方法的有效性。

分布式 天文 阵列数据

0 引 言

伴随着信息爆炸，大数据时代已经走入各行各业，在诸如天文学、物理学、社会科学等行业中正源源不断的产生真正的海量大数据。然而，这些行业在解决大数据所带来数据读写与处理缓慢问题的方法却滞后于其数据产生的速度。在射电天文领域，随着射电望远镜设备的飞跃发展，望远镜所能观测和产生的数据量早已超出了当前主流的天文学数据处理软件的承载能力。为此，急需将计算机数据处理的前沿技术如列存储、分布式等应用到当前成熟的处理软件中，以应对海量天文数据所带来的挑战和冲击。

射电天文领域中，天文学家主要采用的数据处理软件有AIPS,AIPS++以及CASA等。……