基于CIMISS的省级气象大数据服务系统设计
2021-10-01雷鸣武国良赵玉娟姜罕盛
雷鸣 武国良 赵玉娟 姜罕盛



摘 要:针对原有省级CIMISS系统无法有效支撑现代化气象数据服务的问题,利用分布式技术,构建了天津省级气象大数据服务中心,搭建了以HBase、GBase、分布式NAS为基础的统一数据存储环境,与省级CIMISS系统形成了无缝对接,满足了天津气象业务的现代化需求。在测试对比中发现,本系统的查询性能得到较大提升:自动站数据比CIMISS系统提升了5.2-22.3倍(倍数随着时间不断扩大),而格点数据则比原一体化平台提升了5倍多,充分验证了本方案的有效性。
关键词:数据共享;CIMISS;分布式数据库;关系数据库
Abstract:In view of the problem that the original provincial CIMISS system can not effectively support the modern meteorological data service. By using the distributed technology, Tianjin provincial meteorological big data service center is built, a unified data storage environment based on HBase, Gbase and distributed NAS is built, and a seamless connection with the provincial CIMISS system is formed, which meets the modern needs of Tianjin meteorological business. In the test and comparison, it is found that the query performance of this system is greatly improved: the automatic station data is 5.2-22.3 times higher than the cimiss system (the multiple increases with time), while the grid data is more than 5 times higher than the original integrated platform, which fully verifies the effectiveness of this scheme.
Key words:data sharing; CIMISS; distributed database; relational database management system(RDBMS)
隨着分布式技术的兴起,现代化数据服务的能力越来越高,但目前,气象系统的数据服务能力却相对落后。业务平台的集成力度和产品服务的质量仍然不够,产品和数据存在不一致,“信息孤岛”现象仍然存在[1]。
同时,原有由国家气象信息中心2009年建设的全国综合气象信息共享系统(CIMISS),于2013年推广部署于全国各省级气象数据中心,为各省气象部门提供了良好的业务支撑与数据服务[2-6],使上述问题得到一定程度的缓解。
但是CIMISS无法对本地化特色资料进行有效支撑,而随着气象数据量的不断增长和业务的不断拓展,省级CIMISS的数据处理和服务能力已经明显不足,无法满足现有的业务和数据服务的需求[7-10]。
基于以上原因,利用分布式技术,构架天津省级气象数据服务中心。同时,透过CIMISS系统中的全国气象数据统一服务接口(MUSIC:Meteorological Unified Service Interface Community)[11-12],将本地数据服务中心与省级CIMISS的数据源进行整合服务,提供全国统一数据访问服务和应用编程接口(API),构建无缝连接的数据服务中心。……
