大数据时代气象信息化面临的问题与对策探讨

2021-04-03叶青陆曼曼林明

中国设备工程 2021年14期

叶青，陆曼曼，林明

（南宁市气象局，广西南宁 530029）

当前，我国已经为气象信息化的发展制定了明确的政策，所有地区的气象部门都要认真研究气象工作的现状，发现问题，找到不足，然后做出有针对性的改进，制定科学的气象信息化发展计划。在建设气象信息化工程的过程中，加强大数据云平台的建设将有助于减少气象领域一直存在的“信息孤岛”现象，克服各个地区之间的信息交流障碍，促进有效的信息交换，提供包括气象在内的信息资源和数据云。气象大数据平台建设是气象信息化建设的核心，目前国家局初步建立了气象大数据平台，初步实现了天气预报智能化，从而大大提高提供气象信息服务的能力，改善气象信息化业务管理水平。

1 大数据时代气象信息化面临的问题

1.1 通信基础设施支撑能力不足

目前，气象通信系统快速响应能力不足。现有的气象通信系统是基于“本地计算，本地服务、文件共享”的传统业务模式设计的，主要支持气象观测数据的收集、传输以及气象服务信息的分发。随着卫星、雷达等数据规模的快速增长，气象信息系统对网络带宽的需求急剧增加，网络流量也显著增加。现有系统不足以支持大量的在线访问、在线协作。为了提高气象预报的准确性和预警提前量，需要气象通信系统具备亚分钟级数据速率。随着气象服务的不断发展，高性能计算功能远远无法满足业务需求。

1.2 气象信息孤岛现象严重

根据业务需求开发的气象业务系统缺乏科学合理的顶层设计，没有统一的标准和数据基础，没有构成良好的业务生态系统，各地气象系统之间相互独立，相似的功能反复开发，导致气象数据结构不一致，这样的信息孤岛现象非常严重。数据环境密集且统一，但是，业务系统集约化程度较低。基于传统体系结构的CIMISS在数据管理功能和信息访问效率方面，不能满足大型数据处理应用程序的并行计算要求。仍然有一些业务系统使用CIMISS作为数据源，并使用数据同步和其他技术在本地创建多个数据库，从而产生新一轮的信息孤岛，数据价值挖掘功能不足，以及部门和跨行业融合不足，不能充分发挥数据的作用。

1.3 提供气象数据服务的能力不足

传统的气象数据管理模型无法提供有效的气象预测，不能按需求提供针对性服务，也无法在线实时交换大量数据。传统的计算能力和计算方法无法满足海量数据处理和分析需求。在有限时间内不能做到及时有效地处理、分析和应用各种类型的数据，无法提供内部并行服务。在气象部门外，其他行业部门进行数据分析是必不可少的，但是，在大数据分析领域还处于初级阶段，而且气象数据与行业数据之间的相关性分析和整合还不够。

1.4 气象数据安全保护能力不足

气象信息的安全保护体系已初具规模，关键业务系统已经按照安全要求实施了分级保护，但现有的气象信息服务系统对网络安全突发事件的应急能力还不够。总的来说，各级气象部门信息系统的安全防护相对薄弱，技术上缺乏系统的安全防护措施，大多数业务应用系统都受到了威胁，网络安全风险很高。在基于密集资源池的业务模型中，网络边界变得越来越模糊，必须重建气象信息安全技术的体系结构，运用新的安全保护手段。随着网络覆盖范围的扩大和业务应用程序的增长，整个系统的网络安全性仍然存在较多漏洞，气象应用程序的安全隐患十分突出，缺乏内容级别的安全性管理，和国家网络安全标准也存在差距。

1.5 气象信息综合管理能力不足

气象信息化快速发展，然而，目前还缺乏完善的技术标准、管理体系和工作方法，无法完全满足气象信息化发展的要求。在气象信息管理方面缺乏顶层设计和约束机制。集成的管理信息系统使使用过程难以做到高效的数据交换、业务协调以及有效的决策支持变得困难，同时存在大量异构格式的气象管理数据，这些数据难以管理、共享和重用。

2 解决大数据时代气象信息化问题的对策

2.1 建立健全气象大数据平台，提高基础设施的支撑能力

建立基于云计算、大数据的气象大数据平台。气象大数据平台包括集中式的元数据管理、分布式的ETL管理、调度管理，可以进行大数据的采集、处理、存储、共享，同时，还可以进行数据质量管理、系统自我监控以及系统自助服务和维护功能。气象大数据平台基于Hadoop集群、Impala集群、Oracle集群构建。平台基本架构可以划分成数据源层、大数据平台层、应用程序层。气象大数据平台负责对整个数据资源进行标准化管理，以确保高效、稳定的数据性能以及数据的快速聚合、快速交换、快速存储以及质量管理。

（1）数据源层包括与天气服务有关的所有数据源。通过对气象数据分类，可以分成多个数据块，包括结构化的CIMISS数据、非结构化的CIMISS数据（卫星，雷达，数值预报等）和气象行业的外部数据（航空、农业、保险、交通、水利等）、互联网数据和地理数据。大数据平台层基于前端计算机集群对数据进行分析、处理，生成高质量的信息产品，并将这些信息产品进行分类存储。使用分布式ETL工具提取、清洗、转换、合并初始数据，根据数据仓库模型的预定义组合将数据加载到数据仓库中。

（2）大数据平台层是整个大数据平台体系结构的核心组件。一个完整的大数据平台必须提供脱机计算、临时查询、实时计算、实时查询功能，仅仅依靠一个集群是无法实现的，因此，如何组合和使用上述三种集群非常重要。Impala集群由Kudu、Alluxio、Impala构成，主要接收结构化数据和基本数据；Hadoop集群包括由HBase、Spark、HDFS、Alluxio等构成，主要存储非结构化数据和结构化数据；Oracle集群主要存储临时应用程序数据。在大数据平台上部署Solr Cluster的分布式搜索。借助Solr的集中配置，自动容错和实时搜索功能可以满足大索引量和高并发搜索量的数据应用，通过Music气象数据服务接口接收统一、标准化的数据，以实现统一格式气象信息的显示。

（3）气象大数据平台的应用层位于架构的最顶层，主要用在基于大数据平台开发的业务应用，从大数据平台层中提取出来的数据将应用于多项气象应用，能够高效满足即席查询、日常统计查询等应用开发。目前，我国气象部门正在进行气象防灾减灾联动支撑平台、气象与农业、气象与旅游等应用专题研究，并且已经取得了一定的成果。

（4）气象大数据平台应通过数据和算法的融入，满足气象信息系统在数据共享、业务协同、计算框架等方面的集约化管理，实现气象产品算法统一管理和调度运行、数算一体的业务应用模式。

2.2 建立高效气象通信系统，开展气象高性能计算应用

首先，利用电子政务外联网和气象宽带网，建立直达省、市、县的扁平化高效通信网络，提高网络带宽，从而提高气象数据传输能力，完成气象通信系统2.0(CTS2.0)的业务运行，使气象通信速度提升至秒级。

其次，建立高性能计算资源，启动业务应用，提高气象网格化预报、短临天气预报的计算能力，加快天气雷达、气象卫星、自动气象站等气象观察数据源的计算分析速度，提高对气象核心业务的支持。

最后，改造气象业务系统，按照统一管理、数据共享的原则，打造省、市、县建立多级气象业务布局。整合综合观测、气象预报、公共服务数据和处理等功能，实现技术集成、数据集成、业务集成，完善气象业务系统的云+终端模式。促进气象信息管理系统的集成和更新，帮助实现气象管理功能的信息化、智能化，采用面向服务的体系结构（SOA），集成行政管理、业务管理、人力资源管理、财务管理等管理功能，开发决策支持应用程序、各种政务管理系统和业务管理应用系统，创建全面的气象信息管理系统，实现气象信息化的全面发展。

2.3 构建共治共用的信息安全管理体系

首先，应该建立健全安全责任制度，强化信息安全管理体系的建设，强化信息安全管理人员的安全意识和培训，不断提高气象信息安全事件应急处置能力，定期组织应急演练。其次，健全信息安全技术体系，提高网络安全防护能力，实现对网络和核心业务系统的有效防护，运用资源池虚拟化防护能力，实行网络安全审计，提高提升气象业务内网和外围的安全威胁预警能力。