陈 超，顾青峰

（中国气象局气象发展与规划院，北京 100081）

0 引 言

气象数据具有数据规模大、数据类型多样化等特点［1］。例如欧洲中期天气预报中心（European Centre for Medium-Range Weather Forecasts，ECMWF）目前每日数据增量为300 TB，当前数据存量已经超过500 PB。随着气象传感器的增加与气象高性能计算能力的提升，经纬度的精度越来越高，气象数据的规模也呈现爆发性增长。而且，气象数据不仅规模大、增速快，同时也面临天气预报、气候变化分析等很多种气象业务的大量查询需求，其中很多查询的延迟要求非常高［2-3］。

因此，气象数据管理系统需要同时具备大容量、高速写入、高速查询的需求。目前气象数据管理系统优先满足大容量的需求，大部分放在大规模存储系统中维护，应对查询，特别是复杂查询的能力不足，迫切需要构建一套面对读、写混合负载时能够达到高性能的新一代大容量分布式气象数据管理系统。本文基于国际上最先进的类Spanner 分布式数据库架构，重点对分布式数据库同时应对数据写入与查询的能力进行优化，设计和实现一套面向混合负载的分布式气象数据管理系统，能够在保持高写入性能的前提下，将复杂查询的性能提升3.13倍。

1 相关工作

气象数据［4-5］符合大数据的4 个V 特征，包括海量的数据规模（Volume）、快速的数据流转和动态的数据体系（Velocity）、多样的数据类型（Variety）和巨大的数据价值（Value）［6-7］，这也给气象数据管理系统带来很多挑战。以气象数据中占比很高的气象模式数据为例，可以看出气象数据不仅规模大、类型复杂，而且数据快速流动、查询类型多样。……