省级气象大数据存储模型设计
2021-06-25夏正龙钟艳雯郑秋生
湖北农业科学 2021年10期
关键词:设计
夏正龙,钟艳雯,郑秋生,朱 亮
(1.湖南省气象信息中心,长沙 410118;2.气象防灾减灾湖南省重点实验室,长沙 410118)
随着Hadoop、HBase、ElasticSearch等大数据存储、处理、运算技术的日益成熟,基于大数据技术的应用研究也成为各行各业重要的课题,中国各级气象部门也展开了如火如荼的研究,如王若曈等[1]采用Cassandra进行实时气象数据存储,设计每类数据对应一个列族,每张表的行被称作列族的键值,类似于该类数据的某一种物理量的磁盘路径,解决了Micaps4业务系统的海量数据分布式存储;徐拥军等[2]利用地面自动站数据量,对分布式数据库的高性能、高可靠性与可用性、灵活性与可扩展性进行了存储测试,得出在入库性能与检索性能方面都高于传统数据库及具有高可靠性、灵活性和扩展性好的分布式集群系统,能提高服务能力、节约建设成本的结论;何林等[3]选用ElasticSearch智能化全文搜索引擎,以中国地面逐小时观测数据为例,设计了气象大数据原型系统,并选取5个典型应用场景开展数据检索和统计分析能力测试,基于ES的气象大数据原型系统在结构化数据的检索和统计方面,尤其是多并发访问的情况下,相比CIMISS(全国综合气象信息共享系统)数据服务接口,响应时间性能提升明显;徐熙超等[4]基于HBase已有的并行数据查询技术基础上进行了相应优化,在表设计阶段充分考虑了HBase特性与业务系统常规查询用例,通过协处理器建立适用于海量气象结构化数据的实时查询索引,实现了海量数据的快速查询,以支撑现代气象业务系统。……
登录APP查看全文
