郭 凯 彭克银 雷 蕾

（中国地震台网中心，北京 100045）

测震波形数据存储和管理系统设计与实现

郭 凯 彭克银 雷 蕾

（中国地震台网中心，北京 100045）

为了解决日益增长的海量测震波形数据在存储和管理方面存在的性能瓶颈问题，基于测震波形数据管理的业务需求，选取基于Hadoop大数据技术的分布式文件系统HDFS和分布式计算Spark架构进行数据的存储和计算，并开发基于Web的测震波形数据存储和管理系统，实现对海量测震波形数据的可视化管理和数据运行率检索。

大数据；Hadoop；测震数据；分布式存储；管理系统

1 引言

从1996年起，中国地震局进行了大规模数字地震观测系统建设，已建成由国家地震台网、区域地震台网和流动地震台网组成的数字地震观测系统[1]。中国地震台网中心承担着全国地震监测、地震中短期预测和地震速报以及各类地震监测数据的汇集、处理与服务的重要任务。仅测震波形数据，现在每年汇集的数据量已经达到12TB，目前汇集和管理的测震波形数据已经超过了100TB。

如此海量的数据，受制于传统硬件IO、网络以及计算性能的限制，如对一年的测震波形数据进行迁移和备份，一般需要超过半个月的时间；针对数据运行率计算，主要作为评估数据质量的指标之一，需要对每一条记录的波形数据进行读取、解压、计算完整性等一系列计算，仅5年的计算结果就超过2亿条记录，已经超过了传统的MySql数据库的承受范围，无法使用传统的数据库进行管理，时间和效率上已经难以满足现在地震科学数据管理和科研的需求[2]。……