海量气象站点数据分布式存储测试及其应用
2016-11-29徐拥军何文春倪学磊
中低纬山地气象 2016年5期
关键词:数据库
徐拥军,何文春,刘 振,王 琦,倪学磊
(国家气象信息中心,北京 100081)
海量气象站点数据分布式存储测试及其应用
徐拥军,何文春,刘 振,王 琦,倪学磊
(国家气象信息中心,北京 100081)
站点数据是气象观测数据的主要组成部分,每日检索量大,且时效要求高。为了更好地管理与服务气象资料,国家气象信息中心从2013年开始致力于新存储技术在气象领域的探索。为了更好地兼容目前的存储与服务方式,选择了分布式关系型数据库作为技术方案,并开展了一系列仿真气象业务场景的测试。测试结果表明,分布式数据库无论在数据插入还是在检索方面都具有较好的性能,同时具有较好的可靠性、灵活性和扩展性。根据测试结论,搭建了分布式存储试验系统,导入了CIMISS地面、高空等建站以来的历史数据,并接入了站点数据的实时流程。实现了海量站点资料的完全在线,同时也满足了气象业务对资料高时效性的需求。
气象站点数据;分布式存储;自动站;性能测试
1 引言
气象部门是一个以数据信息为核心的领域,2000年之前,其核心业务问题主要是通信和计算(NWP),近十几年来,核心业务问题逐渐转向数据信息存储、应用和服务[1]。随着气象事业的快速发展,气象探测设备不断增加,观测台站上传的数据正在急剧增加,存储总量呈现几何式增长。目前气象数据每年增量达到PB量级,已具备大数据的特征。随着公众对气象服务需求的日益增长,要求天气预报向精细化、全时空和集合预报的方向发展,气象服务多元化并从传统气象向“公共气象、安全气象、资源气象”拓展[2]。……
登录APP查看全文
