气象大数据云平台归档系统设计及实现
2021-11-02刘媛媛何文春王妍李江涛白金婷
气象科技 2021年5期
关键词:系统
刘媛媛 何文春 王妍 李江涛 白金婷
(国家气象信息中心, 北京 100081)
引言
随着对龙卷、冰雹和强对流大风等小尺度天气监测的需求提升,分钟级观测、秒级自动探测数据海量涌进,以及高分气象卫星发射和高时空分辨率数值模式的发展,近来年气象数据量增长明显加速,可以说真正进入了气象大数据时代,如何解决好海量气象数据存储的问题也成为信息化发展关注的焦点[1-7]。海量数据规模通常会达到PB级,甚至已经发展到ZB级。虽然大数据技术发展得如火如荼,考虑到成本海量数据管理通常不会使用单一的存储技术或介质,会根据数据访问的情况决定数据的存储方式,这是因为从数据的服务特点来看,数据会呈现冷热不均的分布。数据总量中用户访问频次较高的数据称为“热数据”,用户访问频次一般的数据称为“温数据”,用户访问频度较低的数据称为“冷数据”。冷热数据分布通常符合二八原则。对于冷数据,大部分数据中心都会采用相对廉价的存储介质进行管理。由于磁带具有安全可靠、经济节能的优势,而且技术成熟,是存储冷数据较好的选择。在气象行业,用磁带库存储 “冷数据”有很长的历史,欧洲中心从1985年就开始在MARS系统使用[8-10],目前仍在大规模应用。美国NOAA的CLASS系统、NOMDAS系统与中国气象局的9210系统均在2002—2004年左右开始在数据归档业务场景中使用磁带库。
中国气象局国家气象信息中心承担世界数据中心中国气象科学数据分中心的职责,负责气象资料的归档业务。……
登录APP查看全文
