基于多线程流水线的光盘自动刻录技术研究
2018-07-07张金标张恩红
气象研究与应用 2018年2期
张金标,张恩红
(广东省气象探测数据中心,广州 510641)
0 引言
气象数据是气象业务运行的根本,它为天气预报、气候分析、灾害防范提供完备的资料,在气象现代化发展过程中起着十分重要的作用。数据中心负责全省气象观测数据的采集、分发、共享;负责本地区的气象产品的制作、分发、共享;负责国家局下发的数据的分发和共享。数据中心每天收集本地观测数据、本地业务单位输出数据及国家局下发的卫星、数值预报、全国观测数据超过500G。要将这些数据刻录光盘并进行长期归档保存,是非常繁重一项任务。由于在刻录之前需要对这些数据进行分类、处理,在归档之后要求能够快速检索到所需的信息,如果仅通过人工来处理,将耗费大量的人力物力。目前,对单一数据的处理和归档的研究较多[1-3],而对海量电子数据的归档处理研究主要是利用高效的存储设备[4-7]或数据库[8,9]方面的技术来提高存储效率和存储容量,并不特别注重软件的数据处理能力,难以适应本项目复杂的数据处理方式和较高的实时数据吞吐量要求。因此,研制一套完善的、稳定的、高效的气象数据资料自动归档系统是非常有必要的,也是迫在眉睫的。
气象数据归档具有数据量大、小文件多、数据处理复杂、实时吞吐量大等特点,系统需要进行数据复制、分类、加密、压缩、建立索引、数据库存储、生成刻录数据、光盘刻录等诸多耗时操作,单任务单进程的处理系统将无法满足刻录系统的要求。……
登录APP查看全文
