APP下载

人工智能在气象科学中应用的机遇和挑战

2019-01-14贺洁颖唐伟周勇沈文海

中国信息化 2019年12期
关键词:气象预测深度

贺洁颖 唐伟 周勇 沈文海

一 、人工智能在气象领域应用简介

始于20世纪50年代的人工智能经过多年的演进,现已发展成一门涵盖计算机科学、统计学、脑神经学、社会科学等诸多领域的交叉学科。气象是一门典型的数据分析应用学科,其和人工智能的渊源已久。早在人工智能萌芽期,国内外气象专家就已开始探索将人工智能技术应用于气象预报相关研究中。

国外气象领域对人工智能的研究和应用自20世纪80年代就开始开展,40年来已有很多可借鉴的成果。强风暴天气(主要包括破坏性直线大风、龙卷和冰雹灾害)每年会造成严重的经济损失和人员伤亡,一直是气象灾害预测研究的重点和难点。国外有很多应用机器学习算法针对强风暴开展研究的成果,如采用前饋神经网络方法对单个风暴单体来预测发生直线大风或龙卷风的概率,采用逐步回归正向选择法预测强风暴,采用朴素贝叶斯分类器方法来预测强风暴。一些研究针对直线大风的预测进行专门的研究,如采用模糊标签神经网络方法针对强风暴中的直线大风进行预测,采用随机森林和梯度提升决策树方法对直线大风进行预测。一些研究采用梯度提升决策树、随机森林、弹性网络方法等研究风暴持续时间、冰雹发生概率的预测。

此外,在清洁能源预测、航空湍流临近预报、云的分类和降水估计等领域也有不少应用机器学习方法开展的研究。如采用人工神经网络、自回归移动平均模型、支持向量机、回归树、相似集合方法对风速、风能、太阳辐照度等进行预测。一些研究采用模糊逻辑、随机森林算法等开展航空湍流的临近预报研究。一些研究采用人工神经网络方法、多参数支持向量机方法、分层K均值聚类方法等针对卫星资料开展云分类和降水估计研究。还有一些研究采用神经网络方法、模糊逻辑方法等开展气象数据融合和数据提取的研究,在气象预报业务上发挥了很好的作用。

我国气象领域对人工智能应用的历史也可以追溯到 20世纪80年代到90年代。当时的特点主要是初级专家系统在气象灾害预测上的应用和人工神经网络方法在暴雨预报、云的识别等方面的应用。在2000年以后也陆续有一些研究,如采用迁移学习、遗传算法、模糊聚类、人工神经网络、支持向量机等方法对气象卫星云图进行云的识别和分类,采用人工神经网络、随机森林、支持向量机等犯法对气象卫星资料进行降水估计和降水分类。还有一些研究基于气象卫星、环境卫星、陆地卫星资料,采用人工神经网络、支持向量机、模糊逻辑、决策树、贝叶斯方法等开展的气象资料反演、灾害性天气识别、生态监测、数据融合和提取等研究。

2006年,随着深度学习的出现和取得的研究进展,人工智能在全球掀起第三次浪潮,并行计算、大数据等的发展使得人工智能技术展现了巨大的应用潜力。2017年起,人工智能,特别是深度学习在气象科学和业务中的应用已受到我国气象专家们的重视。经统计,在气象领域涉及人工智能相关算法的SCI和国际会议论文中,2014-2018年我国论文发表数和至少被引用一次论文数在国际上仅次于美国,且和美国差距逐年缩小。热点研究领域主要包括观测数据质量控制、数值模式资料同化、数值模式参数计算(如云和对流参数化)、模式产品后处理、天气系统识别、可再生能源行业应用、航空湍流预报、业务流程优化、智能决策辅助系统等方面。我国气象部门通过和清华大学、北京大学、中科院等科研院校以及阿里巴巴、百度、IBM等企业开展合作,以知识产权共享的方式,已经在观测识别、数据处理、短时临近预报、多源融合定量降水预报、强对流潜势预报、霾预报、相似台风检索、预报公文自动制作等多个业务领域取得若干研究成果。其中,基于深度学习的临近预报已经取得了很好的进展,预报模型不仅能跟踪雷达回波的移动方向,而且能较好地反映雷达回波的生消变化,较传统雷达回波外推方法准确率更高。

二、人工智能在气象科学中应用的机遇和挑战

随着人工智能技术的不断更迭发展,在气象科学领域中的应用前景将愈加广阔。以深度学习方法为例,在时空背景的有序序列和数据建模方面,由于深度学习所应用的相关数据类型与气象科学的数据之间存在极大的相似性,这为深度学习成功的应用在气象科学领域提供了新机遇。利用深度学习可以快速和有效的解决分类、异常检测、回归、空间或时间相关状态预测等问题,而无需使用主观的人工注释或依赖于预定义阈值的方法。另一方面,深度学习也可以快速识别和使用事件空间形状中的信息,如自动提取遥感数据中的多尺度特征,从而大大提高分类精度。

与此同时,深度学习在气象科学应用中也存着许多挑战。首先是可解释性,由于深度学习算法的潜在特性,从数据中发现的关系并不一定存在因果关系,实现可解释性也是当前深度学习的研究焦点。其次是物理一致性,深度学习模型可以非常好的拟合观测,但是预测可能存在物理上的不一致或不可信。再次是数据的复杂和不确定性,由于不同的传感器显示出不同的成像几何形状、时空分辨率、物理意义、内容和统计数据,因此集成多传感器数据并非易事。此外,卫星观测序列还存在着各种噪声源、不确定性水平、数据缺失和间隙等问题,也是带来数据的复杂和不确定性的主要原因。第三是缺少标记样本,深度学习需要大量的标记样本训练集,但由于标注数据集存在着概念、所涉及的数据集的大小、专业标注人力成本等困难,大型的、标记好的气象科学数据集并不完善和充足。最后是对计算的需求。目前,气象部门每天都要处理TB级的高精度数据。虽然典型的计算机视觉应用已能处理512×512像素的图像尺寸,但是气象数据如数值模式输出数据、卫星数据很多是全球尺度的,中等分辨率(约1km)的全球气象场的大小约为40,000×20,000像素,即比计算机视觉能处理的多三个数量级。因此,气象数据应用深度学习的计算需求量非常巨大。

三、人工智能在气象领域的未来发展方向

从历史上看,物理建模和人工智能通常被视为两个不同的领域,具有理论驱动与数据驱动两个截然不同的科学范式。然而,两种方法实际上是互补的,物理方法原则上可以直接解释,并提供超出观测条件的外推潜力,而数据驱动方法在适应数据方面具有高度的灵活性,并且易于发现不确定性问题中的新模式。这两种方法之间的协同作用一直受到关注,未来的气象模型应该整合基于物理过程的和人工智能的方法。但我们也应该清醒的认识到理论与观测、假设生成与理论驱动假设检验之间的科学相互作用将继续存在,数据驱动的人工智能方法在气象科学研究中不会取代物理建模,而是对物理建模强有力的补充和丰富。即,研究物理和数据驱动模型之间的各种协同作用,其最终目标是混合建模方法:这些方法应遵循物理定律,具有概念化,因而可解释的结构,同时在理论薄弱的情况下完全适应数据。

具体而言,随着深度学习模拟能力以及气象观测能力的不断进步,人工智能在气象科学应用的发展将在以下几个方面有所进展。随着深度学习的不断应用,未来可能会在图像识别(如极端天气型分类和异常检测)、超分辨率处理(气候模式降尺度)、时间预测和空间预测等方面取得较大进展。

改进模式的参数化方案。物理模型需要参数,但其中许多参数不易从基本原则中推导出来,只能用经验性的数据来代替。深度学习可以学习参数化,以最佳方式描述地面真实情况。

改进模型后处理能力。深度学习有助于识别、可视化和理解模型误差的模式,使便于校正模型输出和改进模式。

提高雷达、卫星图像等的图像识别能力。如可以通过图像识别改进台风等极端天气型的分类和异常检测,还可以改进临近预报能力。

改进气候预测能力。由于气候预测存在很大的不确定性,深度学习可以通过对气候数据的学习得到新的预测模型,还可以通过超分辨率处理方法进行气候模式的降尺度应用。

推进地球科学的进一步交叉融合。随着观测数据的不断拓展和人工智能计算能力的不断提高,人工智能,特别是深度学习,提供了很有前途的工具,可以为地球系统各组成部分构建新的数据驱动模型,从而重新建立我们对地球的理解。这将有利于地球科学中大气科学、地理学、地质学等学科从发展理念、算法建模、仿真应用等方面集成和协同发展,同时进一步推进各学科的深度融合。

四、结论与建议

人工智能技术仍在飞速发展,Gartner公司预计其核心算法深度学习有望在未来2到5年达到成熟期并投入实际生产应用。研究发现,人工智能在气象领域有宽广的应用前景。在气象科学方法上,数值预报方法仍然是核心和科学进步的关键,数据驱动的人工智能方法不会取代物理驱动的数值预报方法,而是对数值预报强有力的补充和丰富,将是基于物理过程和深度学习的混合建模方法。此外,從整体来看,未来人工智能将会贯穿气象观测、数据、信息网络、预报、服务全业务过程。这不仅将影响气象预报方法的改进,更将影响整个气象行业的发展布局。因此,气象部门应抓紧人工智能发展机遇,做好顶层设计和统筹布局,以更好的姿态迎接人工智能时代的到来。

作者单位:山西省气象科学研究所 贺洁颖、唐伟

中国气象局资产管理事务中心 周勇、沈文海

本文受到2019年度气象软科学重点项目“气象发展“十四五”规划预研:人工智能应用重大工程及政策”(项目编号:2019ZDIANXM19)的支持。

猜你喜欢

气象预测深度
气象树
选修2—2期中考试预测卷(B卷)
选修2—2期中考试预测卷(A卷)
四增四减 深度推进
深度思考之不等式
简约教学 深度学习
文章有象
《福彩3D中奖公式》:提前一月预测号码的惊人技巧!
预测高考
深度挖掘