温建伟　张立　李永利

摘 要：根据气象业务应用对数据提出的时效性和多业务访问场景等需要，设计了可以同时访问结构化和非结构化数据的分布式气象大数据存储模型。在Spark系统基础上，采用MongoDB和JSON技术构建了试验模型，使用站点类、卫星和雷达遥感等数据进行数据查询试验。试验结果表明：气象大数据分布式存储结构和快速查询技术优于传统的数据库存储和访问技术，具有存储容量大、可扩展性高和访问快速等特点。

关键词：气象数据;结构化数据;非结构化数据;存储模型;分布式;数据查询

中图分类号：TP311.13;P409 文献标识码：A 文章编号：1003-5168（2021）26-0144-03

Research on Storage Management and Fast Query Technology

of Meteorological Big Data

WEN Jianwei ZHANG Li LI Yongli

（Inner Mongolia Meteorological Information Center， Hohhot Inner Mongolia 010051）

Abstract： This paper designs a distributed meteorological big data storage model that can access both structured data and unstructured data at the same time in response to the timeliness and multi-service access scenarios proposed by meteorological services. Based on the Spark system， MongoDB and JSON technology are used to build the experimental model. The meteorological station data， satellite data， and radar remote sensing data are used to test the data query. The experimental results show that the distributed storage structure and fast query technology of meteorological big data are superior to the traditional database storage and access technology， and have the characteristics of large storage capacity， scalability and access fast.

Keywords： meteorological data;structured data;unstructured data;storage model;distributed storage;data query

氣象探测技术的出现，特别是大气遥感技术的发展和自动观测技术的进步，使得气象探测资料和观测产品的种类和应用频次与日俱增，导致气象信息的获取、处理、管理和应用方式都发生了根本性变化。目前，传统的数据库存储与查询技术已无法满足海量气象数据存储和查询的需求。为此，国内外气象部门积极谋求大数据环境下气象数据管理能力的新增长，升级传统的数据存储服务技术架构，以满足气象业务发展对海量增长的气象大数据的高效存储、计算与分析应用需求[1]。

如何在现有气象业务系统计算与存储的基础上，结合海量气象数据扩展的需要，采用分布式存储与云计算技术实现与现有业务的无缝集成，并解决不同气象业务系统对数据存储访问的响应时间的问题，是本文研究的重点。……