APP下载

全国综合气象信息共享平台建设

2018-04-02赵芳何文春张小缨张志强

关键词:气象统一服务

赵芳 何文春 张小缨 张志强

(国家气象信息中心,北京 100081)

0 引言

气象观探测数据和产品是气象业务、服务和科研的基础。随着气象业务的不断发展,观探测数据和产品的种类和数量不断增加,国家级每日接收14大类[1]来自部门内和行业、全球交换的气象观探测数据和产品,数据量达到约1 TB/日,已归档存储的历史数据也已达PB量级。建立海量气象数据的科学化管理和服务系统,为气象业务和科研提供方便高效的数据支撑,已成为气象业务发展的迫切要求。

自20世纪90年代以来,气象数据管理和服务系统的建设得到普遍重视。通过9210工程的建设,初步探索建立了基于商用数据库管理系统的气象数据库系统,但由于其所处理和管理的数据种类少、功能较为简单、服务方式较为单一,未能得到全国应用。2006年,国家气象信息中心建成国家级气象资料存储检索系统(MDSS)[2],实现了对常用地面、高空、数值预报等实时资料和部分历史资料的在线存储管理,成为国家级天气等业务的主要数据支撑平台,但未在省级进行推广使用。国家卫星气象中心建成了风云气象卫星数据存档与服务系统[3],实现风云卫星观测数据和产品的存档及服务。随着气象信息综合分析处理系统(MICAPS)[4]和气候信息交互显示与分析平台(CIPAS)[5]等业务应用系统的建设,也都自建了独立的数据支撑环境。在省级,各单位也大多自建了规模不等的小型数据库系统。

在气象数据库管理和服务系统建设并发挥支撑作用的同时,由于缺少统一规划设计、资源分散、标准体系不完善等问题,越来越难以适应观测、预测预报和公共气象服务业务的快速发展需求。一是数据资源分散,观测数据和业务产品分散存储在各单位自建的数据支撑环境中,无法形成统一支撑业务的气象数据资源全集;二是数据反复搬家、重复存储现象严重,数据资源不集约、小低散问题突出,有多少个应用系统就建立多少套数据库,单一业务系统独占一套存储资源的现象严重,造成了人力物力的极大浪费;三是数据流程复杂,数据流转环节增多,影响了数据服务应用时效;四是由于数据重复处理、存储,缺少统一加工处理算法和数据同步机制,导致国省间、各业务系统间数据不一致,数据权威性难以确保;五是由于缺乏统一的数据标准,造成各数据库系统标准不兼容,导致业务应用系统推广困难;六是仍有大量气象数据和产品在收集后,未经过规范化处理、质量控制、存储管理和服务环节就直接交给了最终用户,数据统一管理、服务能力亟待增强;七是在各环节上下游衔接、公共信息管理使用及全业务流程监视方面,存在各管一段无法有效衔接的现象,接口单一、低效,公共信息不一致且管理分散,业务监视仅限某个业务环节,无法实现全流程时效追踪。随着气象信息化的不断推进,建立国、省统一数据环境,为气象业务和科研提供直接数据支撑,进而带动数据资源整合和业务应用集约,成为气象信息化建设的关键问题和重要任务之一。

全国综合气象信息共享平台(China Integrated Meteorological Information Sharing System,CIMISS)实现了在国家和31个省级中心间集数据收集与分发、质量控制与产品生成、存储管理、共享服务、业务监控的一体化气象信息共享,该系统2016年底投入业务运行。CIMISS规范国家级和省级气象资料业务,实现各类气象数据的统一、规范、高效管理,其业务化为国家级和省级气象业务提供标准、一致的数据环境,将极大地发挥气象数据的应用效益[6]。

1 CIMISS平台业务定位和重要意义

2012年,中国气象局印发《气象信息网络系统总体设计(2012版)》,首次提出数据环境系统的概念。数据环境系统是气象信息系统的核心组成部分,实现气象资料和业务产品的统一、高效和完整的存储管理,为气象业务系统和科研用户提供直接的、统一的数据服务。主要功能包括:数据处理、产品加工、数据存储和数据服务等[7]。

2013年,国家气象信息中心制定气象现代化实施方案(2014—2020年)[8],明确提出“基于全国综合气象信息共享平台(CIMISS),应用分布式存储技术、数据挖掘技术等,构建数据资源完备、集约高效、存储策略科学的国家级气象业务数据环境,统一规范管理数据,统一数据服务接口,管理集成满足不同业务及应用需求的气象数据库集群,面向国家级业务科研提供便捷、高效、可靠的直接数据服务与技术支持”。2015年,中国气象局发布《气象信息化行动方案(2015—2016年)》,提出“优化各类数据业务流程,搭建国省统一CIMISS数据环境,并以CIMISS为核心,以标准化为基础,整合功能重复的应用“烟囱”,实现气象核心业务系统的集约与互动”的行动目标,并把实现CIMISS业务化作为气象信息化第一阶段的重要任务[9]。

CIMISS平台的业务定位即国省统一数据环境,是气象业务、服务、管理的核心数据支撑平台,直接支撑天气、气候、公共服务和综合观测业务应用。CIMISS平台是气象信息化数据资源整合集约、统一数据标准的落脚点,是建立规范、高效业务流程的关键环节,是实现业务扁平化的有效手段,是核心业务系统集约化整合、优化气象业务服务和管理信息流、建立气象应用生态的统一信息源,为实现气象大数据在国省、省际流动并创造价值奠定基础,并促进信息业务从通信传输向数据资源服务转型。

2 CIMISS平台的结构和功能

2.1 结构和功能

CIMISS平台由数据收集与分发系统、数据加工处理系统、数据存储管理系统、共享服务系统和业务监控系统共5个业务应用系统,及计算机存储、网络与安全等基础设施平台及标准规范体系组成(图1)。

1)数据收集与分发系统

数据收集与分发系统对包括新一代天气雷达资料在内的综合气象探测数据和信息产品进行实时收集与分发。数据收集与分发系统主要包括数据收集、数据预处理、数据分发和数据补调四个功能。

2)数据加工处理系统

数据加工处理系统负责对数据收集与分发系统收集获得的各类气象探测资料进行加工处理,生成各类数据产品,供数据存储管理系统入库管理。数据加工处理系统主要包括数据解码、质量控制、统计加工、业务配置与监控,临时文件库管理五个功能。

3)数据存储管理系统

数据存储管理系统负责实现对包括雷达数据和产品在内的各类气象探测资料和产品,进行标准、规范的存储管理。数据存储管理系统主要包括数据结构管理、数据入库存储、数据处理、数据清除、备份与恢复、数据迁移与回迁、元数据管理和更新、数据归档、数据接口访问等功能。

图1 CIMISS平台构成Fig. 1 Compositions of CIMISS

4)共享服务系统

共享服务系统是用户获取CIMISS平台各类气象数据资源的窗口,为部门内用户、部门外行业用户和社会用户提供平台管理的各类气象信息资源的定位、发现和获取服务。共享服务系统建设包括数据服务、系统管理、业务监视与统计等功能的实现。其中,数据服务功能包括:数据共享分发、元数据交换、Web检索应用服务、数据访问服务调用。系统管理功能包括:用户授权、认证与管理、共享服务策略配置、元数据(主要为应用型元数据与目录信息)定义等系统配置与管理。

5)业务监控系统

业务监控系统是对来自于CIMISS平台各个业务领域的监视数据进行汇集、整理,进行存储管理,并提供监视信息检索、统计、分析等服务,为用户提供实时状态信息、故障信息及统计信息的发布与展现平台。业务监控系统主要包括监视信息收集、监视信息存储管理、信息检索统计与分析、信息发布与展现及监控系统管理等功能。

6)计算机网络系统

计算机网络系统是应用软件和业务正常运行的基础平台。其建设内容包括配置满足系统不同性能要求的、具有适当处理能力的不同档次的服务器集群;配置不同容量、不同性能的各种存储设备(高端盘阵、低端盘阵、自动磁带库等);充分利用现有网络设备,根据建设需要,配置网络接入配套设备、网络管理与监视系统等。

7)安全系统

根据CIMISS安全需求,采用适当的安全策略,利用现有基础设施,有针对性地增强网络安全防护能力,搭建安全支撑平台,构建安全管理体系,形成安全基础防护系统,保证系统安全性。该系统的主要建设内容为安全策略的拟定、安全管理体系的构建和安全防护设施的配备,主要包括防火墙系统、入侵检测系统、防病毒系统等。

8)标准规范体系

本着标准先行的原则,CIMISS制定《全国综合气象信息共享平台标准规范体系》,作为项目信息标准化建设指南和实施工作的技术依据,并通过实践不断完善。《全国综合气象信息共享平台标准规范体系》适用于项目系统设计、招标投标、软件设计、系统测试、系统验收、业务运行监控、项目管理等各环节,由参照标准和专用规范两部分组成。其中,参照标准指在本项目的设计和建设中,要直接引用或参照使用的、国内外有关组织或单位已经公开发布的标准、规范,共53项;专用规范指根据本项目建设的实际需要而研制的规范,共计6类33项专用标准规范。通过标准规范研制,提升气象信息系统建设标准化水平,提升气象数据标准化总体水平,推进气象数据格式标准化工作。

2.2 布局

CIMISS平台由1个国家中心(NDC)和31个省级中心(PDC)组成,所有中心通过全国气象业务网联结成一个物理分布、逻辑统一的信息共享平台。CIMISS 实现了气象数据的国省两级大集中,初步形成两级布局、四级应用的数据业务技术体制,省级CIMISS 直接支撑省、市、县三级的业务应用(图2)。

图2 CIMISS平台布局Fig. 2 Layout of CIMISS

1)国家级中心(NDC)

NDC位于北京,部署在国家气象信息中心,负责全国范围内气象数据和产品的收集、处理,生成全国范围的气象产品和气象数据,并对这些数据进行完整的存储、备份和归档,同时向国家级部门用户或各省级中心和用户提供气象数据共享服务。NDC每天处理和存储的数据量达到TB级,其中包括雷达数据、卫星、高空、地面和天气个例等各类气象数据资料,具备较高的存储能力和数据处理能力。

2)省级中心(PDC)

PDC均部署在省级气象信息部门,全国共31个。负责本省范围内观探测数据、省级业务服务信息产品和国家级下发的各类资料的收集、处理、存储和服务,并负责本省各类资料的归档。其中,区域中心所在省还要负责本区域雷达资料的归档。省与省之间的信息共享服务由各省的数据共享服务系统承担,省级共享服务系统支持国家级用户和各省级用户的数据请求。

2.3 流程

CIMISS 对国内外及行业交换气象观测数据和业务产品进行收集并按需分发, 对气象数据进行解码、质量控制和产品加工处理,随后使用数据库技术对实时和历史数据进行一体化入库管理,并通过数据统一服务接口为个人用户和业务系统用户提供数据调取服务,业务应用、气象数据及系统资源的监控信息统一发送至业务监控系统进行实时监控。CIMISS平台数据流程如图3所示。

图3 CIMISS平台数据流程图Fig. 3 Data flow of CIMISS

数据收集与分发系统通过多种网络链路收集气象数据,在对外部进行分发的同时,也完成对节点内部数据加工处理系统的数据分发。收发系统需要归档的数据,直接提交给数据存储管理系统进行归档。

数据收集与分发系统将需要全国广播的数据分发到CMA-Cast系统,如果省中心接收CMA-Cast数据出现缺失,则可以通过数据收集与分发系统的补调功能通过地面宽带网进行数据补调。

数据加工处理系统完成对气象数据解码、质量控制和产品加工后,将生成的气象产品提交给数据存储管理系统进行入库,同时将需要对外分发的气象产品返回给数据收集与分发系统。数据加工处理系统在进行产品加工时,需要从数据存储管理系统中提取已存储的气象数据。

数据存储管理系统收到加工处理系统提交的气象产品后,完成入库操作,将数据存储在实时库、基础库中,并对数据加工处理系统和共享服务系统提供统一数据访问接口,以实现数据的高效访问。

共享服务系统响应本地用户、行业用户和社会用户的数据检索请求,从数据存储管理系统提取气象数据返回给用户,实现气象数据的共享服务。

数据收集与分发系统、加工处理系统、数据存储管理系统和共享服务系统将本系统的统计和监控信息发送至业务监控系统,用于系统与应用的实时监控。

2.4 数据服务能力

CIMISS实现了全球和国内收集、行业交换的所有结构化数据的存储,涵盖地面、高空、海洋、辐射、农气、大气成分、服务产品等,共计99种。提供T639/GRAPES/EC/日本等国内外高分低分数值预报产品、雷达基数据和产品、FY及NOAA等卫星产品,共计228种非结构化实时数据和产品的服务,建立了地面全要素日、候、旬、月、年统计加工实时流程。CIMISS平台完成了地面建站以来日、旬、月、年值及30年整编数据,及闪电定位、L波段探空、GPS/MET等多种历史数据整编工作,提供各省导入本地数据库,形成国省一致的实时、历史长序列数据在线服务能力(表1)。

表1 CIMISS数据种类Table 1 Data types of CIMISS

2.5 数据统一服务接口

CIMISS建立气象数据统一服务接口(MUSIC),为全国天气、气候、服务等应用系统提供统一标准的数据调用服务,主要功能如下。

1)提供标准、丰富、高效的数据服务接口。制订数据服务接口标准,包括接口命名、参数定义和返回格式等;实现丰富的服务接口,支持跨平台、多语言、多协议,提供数据读取、写入,以及统计、裁剪、抽取和可视化等计算功能;采用高效的缓存方式、传输协议和软件架构,保障数据服务的高效。

2)发布丰富的接口信息,提供便捷的技术支持。开发专门的用户支持网站,发布接口和资料的详细说明信息,提供丰富的示例代码和DEMO工程,支持用户在线调用体验和测试,具备用户行为“大数据”分析能力,多维度统计用户访问情况,诊断系统和用户调用异常。

3)保障国省接口的同步统一和应急互访。服务接口随着数据种类和应用场景的增加,会不断进行丰富和补充,MUSIC系统建立同步机制保障国省接口的统一;在此基础上,实现当某省CIMISS数据环境异常时,将应用的接口调用快速透明切换到异地MUSIC,提供应急服务保障[10]。

3 CIMISS平台的建设成果与效益

3.1 CIMISS首次实现了统一的国家-省级数据环境,有效带动数据资源整合集约

CIMISS平台从顶层设计出发,国省首次建立了统一、一致的数据平台直接支撑业务(图4),从而从根本上解决了数据支撑环境分散建设、数据重复存储的问题,极大地提高了数据资源的整合集约水平。

3.2 CIMISS平台实现数据资源标准的统一,确保数据权威一致性

CIMISS平台初步建立了气象数据资源标准体系框架(图5),实现了国省数据的一致性。在基础数据资源标准方面,CIMISS建立了气象数据编目体系和数据目录,规范了气象数据的分类和编码,统一了气象要素的分类、编码、单位、精度、代码表和特征值,建立了气象资料核心元数据,统一了台站元数据信息,定义了国省一致、实时历史一体化的数据存储结构和文件命名,实现了雷达基数据的格式标准化。在数据加工处理算法方面,CIMISS统一了数据格式检查、解码规则,规范了基础数据的统计加工、质量控制算法,各算法组件化、可插拔,便于算法的改进升级。在数据服务接口方面,CIMISS统一了数据读取接口和写入接口定义,包括接口服务方式、接口定义命名、参数定义和命名、返回的数据格式等。基于以上标准的CIMISS平台作为业务、服务的统一和唯一数据来源,一方面有效解决了困扰业务多年的国省及业务系统间数据不一致、数据权威性无法保证问题,另一方面也解决了现有业务系统中因数据标准自成体系、不兼容导致的业务应用推广困难等问题,基于CIMISS的应用系统可以无障碍地推广到全国使用。

图4 CIMISS数据环境示意图Fig. 4 Illustration of CIMISS data environment

图5 CIMISS气象数据资源标准体系框架Fig. 5 Framework of meteorological data standardization in CIMISS

3.3 CIMISS初步形成两级布局、四级应用的数据业务技术体制,促进业务扁平化

业务扁平化是衡量气象业务信息化水平的标志之一。CIMISS平台实现气象数据的国省两级大集中,随着省级CIMISS平台的服务能力不断增强,将具备支撑地市、县级业务系统的能力,统一提供数据资源云服务,地市、县将作为“端”点,直接使用省级数据环境的数据。两级布局、四级应用这一数据业务格局的形成,将极大地促进业务扁平化和业务数据流程简约化,有效减轻地市、县维护工作量,实现县级“零”维护。

3.4 CIMISS平台有效促进数据业务流程规范化、可监控

CIMISS平台对全局业务流程进行简化和优化,减少业务环节,实现国省节点间及节点内数据收集分发、数据加工处理、数据存储管理、数据共享服务和业务监控等业务过程的无缝链接和高效对接,形成端到端规范化的气象资料业务流程,通过流程间消息和事件触发机制,缩短内部流程耗时,有效提高了平台的数据服务时效性。CIMISS平台对全业务流程范围内台站元数据、气象资料属性、气象要素属性、核心元数据等公共信息进行了统一管理和同步,确保一致性。CIMISS平台确定了集约化运维监控集成扩展接口规范和技术框架,初步实现了气象数据、业务应用和基础设施资源的一体化运维和集中告警处理,通过对数据流程的各个环节的处理状态进行记录,实现气象数据全流程监视、可追溯和故障快速定位,为气象信息化统一监控、全流程监控、综合运维打下良好基础。

3.5 CIMISS实现气象数据统一访问服务化,实现数据管理系统与业务应用松耦合

CIMISS制定了统一数据服务接口标准,建立了标准、稳定的数据统一服务接口MUSIC,为前端应用和后端数据管理系统搭建了一座稳固的桥梁,通过接口屏蔽后台数据管理系统,实现数据管理与数据应用分离,使其各归其位、各司其职、各尽其责,数据管理系统的数据组织方式变化、技术系统升级改造、数据格式变化等对业务应用系统“零”影响,用户程序不需做任何修改,保持应用系统“长治久安”,彻底解决过去数据管理系统升级而导致应用系统被迫改造的问题,大大提高天气、气候、科研等业务系统的稳定性和可持续性,开启数据应用新模式。由于标准的统一,根据标准开发的数据服务接口可实现“一点开发、全国开花”,快速发挥业务支撑效益。

3.6 CIMISS建立省际共享与互备支撑新模式

CIMISS数据环境国省两级存储的基础观测资料种类基本相同,在国家级管理数据的全集,每个省级中心存储本省及周边的数据。基于标准一致的数据环境和数据服务接口,CIMISS具备了国省、省际数据环境间的共享和互备支撑能力,当一个节点的CIMISS出现故障时,可通过在其MUSIC上配置数据访问策略,将本地数据服务请求切换到备份的省份或国家级备份中心,从而实现省与国家级、省与省之间的实时数据应急服务支撑,保证应急期间业务应用透明访问异地数据环境,业务运行不中断。应急备份根据故障范围,可提供整体切换和按资料精细化切换两种方式。

3.7 CIMISS以项目建设带动人才成长

为使CIMISS真正成为气象业务、服务、管理的数据支撑环境,国家气象信息中心组织调动全国百余名信息技术力量参与到项目建设各环节的工作中,极大地带动了国省信息领域技术人才的成长。通过组建“两总”,培养了总体架构设计、软件设计等技术设计人才,积累了大型工程项目建设管理经验;通过历史数据整编、数据标准和算法研制等工作,为气象数据处理、气象信息化标准体系建设储备了人才;通过简约化流程再造、数据统一服务接口(MUSIC)开发等工作,并对省开放CIMISS源代码,初步建立了国省联合软件开发团队,为组织全国技术力量、开放众创共建信息系统提供了平台;成立了国省CIMISS系统运维工作组,通过现场巡检、培训,并依托业务内网建立了面向全国的运维知识库,全面培养了运维保障人才。

4 CIMISS的应用

4.1 提供天气业务“一站式”数据供给情况

1)MICAPS4业务支撑

通过CIMISS-MICAPS4数据环境建设,利用高效的分布式存储技术和快速的数据处理流程,将MICAPS4常用的数据有效组织起来,解决了数据读取效率和资料服务时效等关键技术问题,为MICAPS4客户端提供毫秒级的数据访问。实现了核心资料的接入,包括地面、高空、闪电、雷达基数据、雷达PUP产品、FY2E/2G卫星数据,以及EC、日本、NCEP、T639、GRAPES、德国等模式数据,主要数据清单见表2。并且,整个数据环境已纳入CIMISS的统一监控和运维。对接后的MICAPS4,在国家级已业务化运行。此外,在湖北、湖南、安徽、云南等地进行了推广部署和运行,实现了数据环境省级部署,支撑MICAPS4在省市县三级应用,数据访问达秒级。

表2 CIMISS-MICAPS4分布式存储数据种类Table 2 Data types of distributed storage in CIMISS-MICAPS4

2)精细化格点预报业务支撑

采用分布式存储技术,构建了统一的精细化气象格点预报数据环境,为国省两级气象格点预报业务提供数据支撑,实现气象格点预报产品的存储、管理与共享,整体流程见图6。CIMISS 对格点产品进行规范管理,实现了定时拼接、滚动更新数据上云同步流程,提供云上共享服务;遵循 MUSIC 接口标准规范,开发了数据服务接口提供业务内网等应用访问;实现了业务流程的集中监控和服务情况的实时展示。

3)MESIS业务支撑

图6 精细化格点预报支撑流程图Fig. 6 Data flow of supporting of refinement gridded forecast in CIMISS

按照信息化中关于集约化和标准化的建设要求,与气象中心深入开展合作,将决策气象服务信息系统(MESIS)的数据通过整合建设,纳入CIMISS统一存储管理,对接MESIS2.0应用。气象中心与信息中心共同制定对接方案,剔除基础观测数据的冗余存储,将面向气象决策服务的丰富的统计数据,按照CIMISS存储规范进行整合处理、规范管理,包括地面日、候、旬、月、年值数据等,经过仿真环境下的接入测试后,目前已完成迁移入业务平台的实施。

4.2 作为主要数据来源支撑气候业务

1)CIPAS2.0业务支撑

补充了NCEP再分析数据、NOAA和风云3B的OLR数据、130项环流指数,以及BCC_CSM、DERF2.0、NCEP GFS等模式产品,满足CIPAS2.0的应用需求。此外,还补充了NOAA卫星的海温、降水、海冰数据,以及气候预测检验产品等。对历史数据进行全面梳理和清洗,导入到CIMISS数据环境,并采用分布式数据库技术,极大地提高了高并发下数据访问时效,并且保证了资料在时间和空间上的完整性。同时建立了多时间尺度,多要素的统计加工流程,形成了多要素覆盖日、候、旬、月、季、年等多时间尺度的统计产品,有力支持了CIPAS2.0和气候变化影响评估系统对基础数据的多维度需求。同时,建立了针对数据生产和存储的全流程监控体系并纳入CIMISS统一监控,确保了气候业务的稳定运行。目前,基础数据涵盖了国内外,地面、高空常规要素等多时间尺度统计产品,为系统的快速响应和在线运算,奠定了良好的基础。

2)气象灾害信息系统支撑

灾害信息基于业务内网收集后,均按照CIMISS规范统一纳入CIMISS进行存储和管理,通过服务接口提供气象灾害信息综合分析和应用平台使用。实现了在CIMISS中对灾害临界致灾阈值数据、暴雨洪涝风险普查数据、历史灾情数据、灾情直报数据、灾害个例数据以及民政部灾情数据等灾害信息的收集和存储管理,支撑着灾害应用平台。

4.3 作为完全数据来源支撑数据开放服务

按照《气象信息化行动方案(2015—2016年)》的工作要求,对内建立统一的国家气象业务内网,构建气象部门内部业务产品服务和业务管理的统一门户,对外建设中国气象数据网,构建面向民生的统一的公共气象数据服务平台。CIMISS作为两网数据完全来源,有效支撑了各项数据服务工作。

基于CIMISS统一数据环境和MUSIC接口技术,国家气象业务内网采用B/S架构进行设计[11],在技术选型方面,业务内网采用了MUSIC接口的表述性状态传递(Representational State Transfer,REST)模式进行调用,REST是通用的网络协议,专门针对网络应用设计和开发方式,以降低开发的复杂性,提高系统的可伸缩性。基于J2EE和SOA架构体系进行业务和数据资源的整合及集成,采用多层体系架构,保证功能自顶向下合理分解,实现设计单元的高内聚、低耦合;采用组件化(Component)与插件机制结合进行设计和开发,保证系统强大且灵活的可扩展性、可维护性以及可集成性;采用并行处理与负载均衡技术,保证峰值数据到达情况下多种数据的高并发处理效率;采用XML数据封装技术,实现灵活的流程配置;采用关系型数据库与文件系统结合,针对不同气象数据特点进行高效的数据存储管理和统一数据支撑服务;采用HTTP、TCP/IP通信协议FTP和WebService等通信技术实现组件间的通信和对外数据服务,控制数据传输的准确性及时效性,保证在Internet上的数据传输速度;采用门户(Portal)技术实现数据与产品共享服务整合,满足信息集成、个性化的内容聚合和定制分发需求,实现面向不同用户的气象资料服务的集约化、个性化,保证数据共享服务的扩展性。业务内网利用适配器(adapter)技术,动态匹配MUSIC接口,针对气象数据检索服务,在服务端对MUSIC接口进行了二次封装,方便用户进行数据检索操作。在实况数据展示方面,通过MUSIC接口技术,实时获取CIMISS中最新的观测数据。目前业务内网共使用MUSIC接口48个,其中涵盖了站点资料检索、站点资料统计和台站信息查询等内容,对资料分别按照要素类型和文件类型进行下载使用。截至2016年12月,业务内网基于CIMISS发布包括探测业务、气候业务、天气业务等各类产品种类超过418种,2016年访问用户12035人,比2015年增长18.6%,访问量830万次,比2015年增长590%,有效提升了业务应用效果和支撑质量。

中国气象数据网基于CIMISS数据向全社会提供5大类17小类1100种气象数据产品服务,采用MUSIC接口的REST模式进行调用。依托CIMISS数据环境,数据网在Internet服务区建立定时作业任务,有力保障气象资料与元数据同步上传阿里云,基于阿里云分布式数据库服务和对象存储服务,构建可按需扩展的服务数据环境,有效提升了高可靠、高并发的服务能力。上线一年以来,累计注册用户超过16万,新增注册近5万,同比增长150%。据对用户的反馈回访,上线1年以来,服务领域涉及18个主要行业,累计为企业节省开支近百万元,产生效益超过1亿元,占全部新增效益17%,中国气象数据网建设成果入选“十二五”全国科技创新成果展[12],有效促进各行业共同挖掘气象数据的应用价值。

4.4 支撑省级业务应用

CIMISS数据环境已实现与31省约114个主要业务应用系统直接对接支撑。县级综合观测业务集成平台(MOPS)所需地面、高空、辐射、大气成分等气象数据100%通过MUSIC从CIMISS中获取,并基于MUSIC在全国进行无障碍推广应用。在G20峰会保障中,人工影响天气指挥系统数小时内实现和浙江CIMISS应用对接,发挥重要支撑作用。湖北省长江流域气象服务综合业务平台实现与CIMISS对接,获取长江流域国家站、区域站地面观测数据及长江流域雷达拼图组网产品及卫星数据。重庆气象信息共享平台通过改版,从CIMISS获取观测资料、统计数据和气象产品,实现在共享平台的检索、展示、统计和产品浏览、动画,在重庆市局和35个区县得到了应用。贵州、广西依照CIMISS统一数据标准,实现山洪地质灾害风险预警产品、三维闪电定位产品等本地特色自有数据实时写入CIMISS,并基于MUSIC提供服务。此外,陕西省决策支撑系统、内蒙古气象旗县级综合业务平台、湖南县级综合气象业务平台等多个省级核心业务应用实现和CIMISS对接。

5 结语与展望

全国综合气象信息共享平台(CIMISS)对国内外及行业交换气象观测数据和产品进行收集与分发,实现省际间气象数据的交换与共享,具备气象数据解码、质量控制及统计加工产品生成并滚动更新能力,使用数据库技术实现对气象数据及产品的实时、历史一体化存储管理,并通过数据统一服务接口为个人用户和业务系统用户提供及时、便捷的数据共享服务。

CIMISS实现400余种基础数据资源、CIPAS数据资源、灾害数据等管理,形成国省一致的实时、历史长序列数据在线服务能力,实现与国家级MICAPS 4.0、CIPAS 2.0、全国精细化气象格点预报、中国气象数据网等核心业务系统,以及31省(区、市)约114个主要业务应用系统直接对接支撑,已初步发挥建设效益。

CIMISS建立了国省统一数据环境,实现了对核心重要业务应用系统的统一数据支撑,实现了气象数据资源的集约化管理、标准化服务和高效率访问,有效打破气象“数据孤岛”和“应用烟囱”,标志着《气象信息化行动方案(2015—2016年)》中“应用导向,搭建国省统一CIMISS数据环境”重点任务取得重大进展,推进气象信息化迈出坚实一步。

CIMISS根据业务发展,建设目标不断调整与丰富,因此建设周期较长,完全外包的项目组织方式也带来软件质量、进度、集成困难等问题。随着站点数、观测频次及数据种类的不断增长,数据存储量不断提升,所采用的传统集中式存储技术难以满足数据存取性能与并发访问需求。

后续,按照《气象大数据行动计划(2017—2020年)》的要求[13],将以CIMISS 1.0为基础,引入云计算、大数据、分布式存储等新兴技术,通过升级气象信息基础设施,结合公共云设施资源,优化数据汇聚、加工、服务和应用支撑全流程,打造“专有+公共”混合云的气象大数据云平台(New CIMISS),支持大数据汇集交换、多源挖掘分析和开放共享服务,实现数据资源的规范和全面,显著改善气象信息资源的有效供给和精准服务,全面提升气象大数据开放应用能力。基于气象大数据云平台统一、开放的数据资源和平台能力,气象应用按需获取数据资源、算法资源、接口资源和基础设施资源,快速开发产品算法,编排应用流程,在平台上统一部署运行,实现气象业务应用的集约、高效和标准化。

[1]熊安元, 王伯民, 王颖, 等. 气象资料分类与编码. 中华人民共和国气象行业标准QX/T102-2009. 北京: 气象出版社, 2009.

[2]沈文海, 赵芳, 高华云, 等. 国家级气象资料存储检索系统的建立.应用气象学报, 2004, 15(6): 727-736.

[3] 钱建梅, 孙安来, 徐喆, 等. 风云气象卫星数据存档与服务系统. 应用气象学报, 2012, 23(3): 369-376.

[4]李月安, 曹莉, 高嵩, 等. MICAPS预报业务平台现状与发展. 气象,2010, 36(7): 50-55

[5]吴焕萍, 张永强, 孙家民, 等. 气候信息交互显示与分析平台(CIPAS)设计与实现. 应用气象学报, 2013, 24(5): 631-640.

[6]熊安元, 赵芳, 王颖, 等. 全国综合气象信息共享系统的设计与实现. 应用气象学报, 2015, 26(4): 500-512.

[7]中国气象局关于印发《气象信息网络系统总体设计(2012年版)》的通知(气发〔2012〕115号文). 中国气象局, 2012.

[8]国家气象信息中心气象现代化实施方案(2014-2020年). 国家气象信息中心, 2014.

[9]中国气象局关于印发《气象信息化行动方案(2015-2016年)》的通知(气发〔2015〕60号文). 中国气象局, 2015.

[10]高峰, 王国复, 喻雯, 等.气象数据文件快速下载服务系统的设计与实现.应用气象学报, 2010, 21(2): 243-249.

[11]张志强, 张强, 胡星, 等. 国家气象业务内网设计与实现. 安徽农业科学, 2016(6): 224-227.

[12]张洪政, 张志强, 李俊, 等. 气象数据开放专题报告. 中国信息化,2016(7): 72-75.

[13]中国气象局关于印发《气象大数据行动计划(2017—2020年)》的通知(气发〔2017〕78号).中国气象局,2017.

猜你喜欢

气象统一服务
气象树
坚持严管和厚爱相统一的着力点
《内蒙古气象》征稿简则
碑和帖的统一,心和形的统一,人和艺的统一
统一数量再比较
大国气象
美丽的气象奇观
招行30年:从“满意服务”到“感动服务”
采掘服务个股表现
坚持“四纳入” 实施“四统一”