分布式实时存储环境下的FITS数据一致性研究*
2016-10-27陈腾达于孔林刘应波柳翠寅
天文研究与技术 2016年4期
关键词:一致性
梁 波,陈腾达,于孔林,刘应波,2,邓 辉,柳翠寅,王 锋,2
(1. 昆明理工大学云南省计算机技术应用重点实验室,云南 昆明 650500;2. 中国科学院云南天文台,云南 昆明 650011)
分布式实时存储环境下的FITS数据一致性研究*
梁波1,陈腾达1,于孔林1,刘应波1,2,邓辉1,柳翠寅1,王锋1,2
(1. 昆明理工大学云南省计算机技术应用重点实验室,云南 昆明650500;2. 中国科学院云南天文台,云南 昆明650011)
在大型太阳望远镜观测数据的分布式高速实时存储过程中,作为元数据的FITS头和FITS数据文件的不一致,导致应用程序不能根据构建在元数据上的索引信息检索到相对应的FITS数据文件。研究了这种环境下,两类数据的一致性模型;分析总结了二者在实时存储时的一致性保障机制和解决方案,提出了应用改进的两段提交协议来协商这两种数据之间的一致性关系,并给出了两段提交协议在高速数据存储背景下的算法实现,研究过程和方法能够对其他科学领域的相关应用提供参考。
FITS;元数据;一致性;两段提交协议
普适图像传输系统(Flexible Image Transport System, FITS)是天文数据管理的一种主要格式,数据文件头包含了丰富的描述数据的元信息。它是元数据的主要构成部分,也是天文数据检索和查询服务的主要依据。同时,在海量高速的太阳数据观测应用场景下,为了便于数据管理,最大化地提高存储性能,使用元数据和FITS数据文件分离的存储模式。这种模式能够提高数据构建索引和查询的效率,减少打开FITS文件获取元数据信息的资源开销。……
登录APP查看全文
