APP下载

省级气象大数据存储模型设计

2021-06-25夏正龙钟艳雯郑秋生

湖北农业科学 2021年10期
关键词:设计

夏正龙,钟艳雯,郑秋生,朱 亮

(1.湖南省气象信息中心,长沙 410118;2.气象防灾减灾湖南省重点实验室,长沙 410118)

随着Hadoop、HBase、ElasticSearch等大数据存储、处理、运算技术的日益成熟,基于大数据技术的应用研究也成为各行各业重要的课题,中国各级气象部门也展开了如火如荼的研究,如王若曈等[1]采用Cassandra进行实时气象数据存储,设计每类数据对应一个列族,每张表的行被称作列族的键值,类似于该类数据的某一种物理量的磁盘路径,解决了Micaps4业务系统的海量数据分布式存储;徐拥军等[2]利用地面自动站数据量,对分布式数据库的高性能、高可靠性与可用性、灵活性与可扩展性进行了存储测试,得出在入库性能与检索性能方面都高于传统数据库及具有高可靠性、灵活性和扩展性好的分布式集群系统,能提高服务能力、节约建设成本的结论;何林等[3]选用ElasticSearch智能化全文搜索引擎,以中国地面逐小时观测数据为例,设计了气象大数据原型系统,并选取5个典型应用场景开展数据检索和统计分析能力测试,基于ES的气象大数据原型系统在结构化数据的检索和统计方面,尤其是多并发访问的情况下,相比CIMISS(全国综合气象信息共享系统)数据服务接口,响应时间性能提升明显;徐熙超等[4]基于HBase已有的并行数据查询技术基础上进行了相应优化,在表设计阶段充分考虑了HBase特性与业务系统常规查询用例,通过协处理器建立适用于海量气象结构化数据的实时查询索引,实现了海量数据的快速查询,以支撑现代气象业务系统。……

登录APP查看全文

猜你喜欢

设计
二十四节气在平面广告设计中的应用
何为设计的守护之道?
《丰收的喜悦展示设计》
基于PWM的伺服控制系统设计
基于89C52的32只三色LED摇摇棒设计
基于ICL8038的波形发生器仿真设计
瞒天过海——仿生设计萌到家
设计秀
有种设计叫而专
从平面设计到“设计健康”