气象数据在线融合分析原型系统的实现
2018-08-01张志强杨和平姜筱玮
计算机工程与应用 2018年15期
张志强,杨和平,杨 笛,姜筱玮,陈 楠
国家气象信息中心,北京 100081
1 引言
经过多年发展,我国气象信息化能力不断提高,建成了“天地一体化”的通信网络系统。目前,国家气象信息中心收集的气象及相关资料日均数据量约2.9 TB,年均数据量约1.0 PB,数据资源总量持续增长,截止2017年,累积数据总量超过4.3 PB[1]。除了气象行业内部的气候变化、天气预报、气象灾害等方向的气象数据融合与分析,气象与各行业结合的数据融合分析也成为新时代下气象大数据平台建设的重要方向之一,结合电力、农业、交通、保险、旅游等行业数据为其发展决策提供指导性依据[2]。数据融合分析即数据挖掘分析,即通过数据的获取、加工、关键因子筛选,最终确定最相关的关键因子,并利用统计分析及机器学习发现因子之间的关联关系,实现对行业内及行业间的趋势进行预测预报,更好地发挥气象因子广泛的潜在价值[3-4]。此外程序化业务运行后,如需对该流程中模型进行因子数据补充或模型优化等调整,则需进行重新编程开发、封装等非气象领域的专业工作,对及时、有效地开展相关工作造成了一定难度。
传统数据融合分析,一般是在统计学的基础上利用统计软件进行数据挖掘分析,如利用SPSS、SAS等软件,采用逐步回归等方法建立MOS回归方程[5],借助贝叶斯、费歇尔判别等多级和逐级判别建立大降水预报方程[6],基于典型相关(CCA)分析和奇异值分解(SVD)等方法做汛期降水趋势预报等[7],以上数据分析工作要求分析者熟练掌握统计分析软件的使用。……
登录APP查看全文
