APP下载

基于多线程流水线的光盘自动刻录技术研究

2018-07-07张金标张恩红

气象研究与应用 2018年2期
关键词:数据处理系统

张金标,张恩红

(广东省气象探测数据中心,广州 510641)

0 引言

气象数据是气象业务运行的根本,它为天气预报、气候分析、灾害防范提供完备的资料,在气象现代化发展过程中起着十分重要的作用。数据中心负责全省气象观测数据的采集、分发、共享;负责本地区的气象产品的制作、分发、共享;负责国家局下发的数据的分发和共享。数据中心每天收集本地观测数据、本地业务单位输出数据及国家局下发的卫星、数值预报、全国观测数据超过500G。要将这些数据刻录光盘并进行长期归档保存,是非常繁重一项任务。由于在刻录之前需要对这些数据进行分类、处理,在归档之后要求能够快速检索到所需的信息,如果仅通过人工来处理,将耗费大量的人力物力。目前,对单一数据的处理和归档的研究较多[1-3],而对海量电子数据的归档处理研究主要是利用高效的存储设备[4-7]或数据库[8,9]方面的技术来提高存储效率和存储容量,并不特别注重软件的数据处理能力,难以适应本项目复杂的数据处理方式和较高的实时数据吞吐量要求。因此,研制一套完善的、稳定的、高效的气象数据资料自动归档系统是非常有必要的,也是迫在眉睫的。

气象数据归档具有数据量大、小文件多、数据处理复杂、实时吞吐量大等特点,系统需要进行数据复制、分类、加密、压缩、建立索引、数据库存储、生成刻录数据、光盘刻录等诸多耗时操作,单任务单进程的处理系统将无法满足刻录系统的要求。……

登录APP查看全文

猜你喜欢

数据处理系统
Smartflower POP 一体式光伏系统
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
WJ-700无人机系统
ZC系列无人机遥感系统
基于PowerPC+FPGA显示系统
半沸制皂系统(下)
连通与提升系统的最后一块拼图 Audiolab 傲立 M-DAC mini
MATLAB在化学工程与工艺实验数据处理中的应用
基于POS AV610与PPP的车辆导航数据处理