陕西省精细化气象格点预报数据环境的设计与实现

2017-08-02薛春芳邓凤东贾晨刚王建鹏

陕西气象 2017年4期

关键词：格点结构化陕西省

何林，薛春芳，邓凤东，贾晨刚，王建鹏

(1.陕西省气象信息中心，西安 710014；2.陕西省气象局，西安 710014；3.陕西省气象台，西安 710014)

陕西省精细化气象格点预报数据环境的设计与实现

何林1，薛春芳2，邓凤东1，贾晨刚1，王建鹏3

(1.陕西省气象信息中心，西安 710014；2.陕西省气象局，西安 710014；3.陕西省气象台，西安 710014)

为了有效支撑陕西省精细化气象格点预报业务运行，从底层架构和数据流分析入手，提出了基于CIMISS标准框架的精细化格点预报数据环境的设计方案。包括硬件平台、数据清单、数据存储、数据共享、数据管理等关键环节，并遵循“冷热分离、读写分离、集中化管理、多样化共享”的原则，给出了优化实现方法。

精细化格点预报；CIMISS；数据环境；共享管理

随着社会经济的发展及信息化水平的不断提高，传统的城镇、乡镇站点预报已经不能完全适应防灾减灾工作的需求，以时空分辨率更高、要素定量化和多样化、预报精准、服务贴心、无缝隙、智能化为特征的精细化格点(智能网格)预报技术将是未来天气业务发展的主要方向。为了推进和支撑精细化格点预报技术研究及业务运行，需要搭建规范、合理的基础数据环境。该数据环境除了满足预报业务的需求外，还需要符合全国综合气象信息共享平台(China integrated meteorological information sharing system,简称“CIMISS”)标准框架[1]，为天气业务数据资源纳入省级集约化数据环境奠定基础。

1 数据环境介绍

陕西省精细化气象格点预报数据环境旨在建立以基础数据接收、加工处理、存储管理、共享服务功能于一体的标准数据流程及支撑平台。该流程和平台具备结构化和非结构化资料相结合、存取高效、管理便捷、交互性强、可快速扩展的特点；在保证数据质量和稳定性的前提下，不断提升访问效率。主要包括构建原始数据库、降尺度格点数据库、格点背景场数据库、省市格点预报编辑库、预报产品库、解析产品库等六大模块。同时，在CIMISS的标准框架内实现数据接入和管理，并梳理整个精细化格点预报业务的数据清单及优化数据流程(图1)。

图1 陕西精细化格点预报数据流程

2 基础平台架构

精细化格点预报数据环境基础平台部署在陕西省气象局自建的统一虚拟化资源池之上。此外，为满足精细化格点预报系统所存在的大量文件交互、高并发读写的个性化功能需求，在虚拟资源池中设立了逻辑专区，引入VMware公司发布的分布式存储技术。虚拟化网络存储空间(virtual store area network，简称VSAN)，是VMware全新的软件定义的存储层，可扩展vSphere虚拟化管理程序以将计算和直连存储池化。通过建立服务器直连硬盘和固态硬盘集群，创建专门针对虚拟机设计和优化的分布式共享数据存储[2]。

通过资源池底层的改造，构建了分布式的数据存储环境，将精细化格点预报对数据的加工处理及存储全部迁移到基于VSAN的分布式平台上，从而有效解决了数据环境的性能瓶颈。同时，遵循“冷热分离”原则，存储架构采用了混合模式[3]，分为以实时处理、高频访问为特征的热数据区和以备份、回算、检验为目的的冷数据区。其中，冷数据区建立在SATA(serial advanced technology attachment)硬盘构成NAS集中式存储之上，热数据建立在以SATA+SAS(serial attached SCSI)硬盘构成的VSAN分布式存储之上。图2为基础平台架构图。

图2 陕西精细化格点预报基础平台架构图

3 数据接入与数据清单

原始数据无论从种类还是数量，都占据了整个数据环境的主体部分，成为支撑精细化预报的基础环节。资料范围涵盖了精细化格点预报所需的地面观测站点实况资料，国内外的数值预报模式或集合预报产品资料，格点实况和预报产品，雷达、卫星、闪电定位等资料。原始数据来源主要分为CIMISS、CMACAST卫星广播系统、国家气象信息中心实时数据共享平台、国家气象中心数据共享服务器、区域中心推送区域模式产品、国家数值预报云等。接入方式包括CIMISS接口、FTP下载、卫星广播等途径。通过对不同数据来源的分析对比，选取最优的数据接入方式，如表1。

中间数据主要包括处理后不同格式的站点实况、对各类模式产品进行解码和降尺度处理后生成的数据。加工产品主要包括多模式动态交叉取优得到的格点背景场客观产品，为地市共享的MICAPS格式的格点、站点预报产品，省市预报员基于客观产品进行主观订正生成的预报产品，最终确认预报产品，预报解析产品(基于规则库一键生成并发布的专题预报服务产品及材料)，预报检验数据等。

表1 原始数据清单及接入方式

4 数据组织结构

遵循对数据“集中化管理”的原则，将所有原始数据、中间数据、加工产品都存放在统一规划的服务器上，只是数据组织结构和存储形式不同。

将精细化格点预报数据环境中的所有数据按组织结构分为两大类：结构化数据和非结构化数据。典型的结构化数据如地面观测资料、站点信息、预报检验数据以及一些配置信息都以记录的方式存储在数据库中，本数据环境选用了Oracle数据库存储结构化数据。除此之外的绝大部分资料都是以文件、图片等非结构化的形式存储，这些数据可直接保存于文件系统中[4]。此外，为了提高访问效率和用户体验，对交互频次较高的数据，将其存储索引以记录的形式在Redis内存数据库中保留一份。

对于原始的结构化观测数据，为方便预报检验算法的使用，需要将其转换为MICAPS格式的文本文件。这种由结构化向非结构化的数据组织形式的转换，通过使用数据统一服务接口对原始观测数据进行二次加工得以实现。气象数据统一服务接口(meteorological unified service interface community，简称“MUSIC”)，基于国家级-省级统一的CIMISS数据环境，面向气象业务和科研，提供了统一、标准、丰富、具有多种调用形式的数据访问服务和应用编程接口，为各级应用系统提供直接支撑的数据接入服务[5](图3)。

图3 调用MUSIC实现数据组织形式转换范例流程

5 数据管理

5.1 数据存储策略

由于存储空间并不是无限提供的，因此为了保持数据环境存储空间的动态平衡，需设置合理的数据存储策略，包括备份和清除两种情况。数据备份是指将生产环境中的热数据保存若干日后向备份区迁移，成为冷数据。数据清除是指将生产环境的热数据保存若干日，超过使用时效后直接删除，以释放存储空间。适配不同存储策略的基本原则根据资料的重要性以及单日的数据量评级确定，除个别试验性资料需特殊配置外，基本策略如表2所示。

备份策略可编写脚本程序或借助第三方备份软件实现。数据清除策略，记录级的数据使用SQL语言中的删除语句实现，文件系统中的数据则根据操作系统的不同，可使用如下参考命令并配置定时任务实现。参考命令中的Path表示数据存储目录，NDay表示数据保存的日数。

Windows平台：forfiles /p "Path" /s /m *.* /d -NDay /c "cmd /c del @path"

Linux平台：find . -type f -mtime +NDay -exec rm -f {} ;

5.2 访问控制策略

为了保证数据安全，对文件服务器上存储的数据进行了分级的用户权限管理，以实现对数据的访问控制。遵循“读写分离”原则，将访问权限分为三级。首先，使用超级管理员账户创建了多个的操作系统账户，并将其设置为管理员属组，分配给研究人员使用。研究人员使用各自用户生成的数据文件具备可读写操作权限，同时，生成的数据对管理员属组的各个成员皆可见。对有交互的成员可读可写，对无交互成员只读。其次，使用超级管理员创建一个用户，设置为普通用户属组，用于对最终发布产品的共享。该用户具备只读权限，可以查看和下载数据。最后，超级管理员对文件服务器上的所有数据具有完全控制权限，可以做读写、删除、修改、执行等操作，以便于实施备份和清除等数据存储策略。