牛千+唐亚明+王佳运

摘要：根据地质灾害数据数据量大，更新速度快，种类多样等特点，提出MongoDB分布式存储策略。探讨了基于MongoDB的分布式地质灾害数据存储策略。为解决地质灾害相关数据存取的性能、管理等问题提供了一个思路。

关键词：地质灾害；MongoDB；shards；mongos；GridFS

随着全球定位系统设备、Smart Phone等新技术的应用，以及各种传感器、高清晰度图像和视频的大量应用，数据正呈现指数级增长，为数据使用者开辟新的数据存储、分析方法和模式显得尤为重要。地质灾害数据也不例外。MongoDB以其模式自由、面向集合存储、高效的数据存储、支持复制和故障恢复和自动分片等技术特点，为地质灾害数据的存储、分析提供了—个新的思路。

1 MongoDB特性与结构

1.1MongoDB特性

（1）模式自由。MongoDB可以对数据进行动态查询并提供完全的数据索引，从而便于对内嵌对象及数组进行查询。

（2）面向集合的数据存储。便于对象类型数据及内嵌对象与数组的存储。

（3）数据存储效率高。MongoDB支持二进制数据及大型非结构化对象（例如照片和视频）的存储。

（4）MongoDB使用主一从、主一主模式的数据复制机制，便于故障的恢复与热备。

（5）MongoDB通过自动分片技术实现动态数据添加，使数据库具有很好的伸缩性，为水平数据库集群提供了很大的便利“。

1.2 MongoDB结构

MongoDB是由数据库（database）、集合（collection）、文档对象（document）三个层次组成这有别于传统关系数据库的数据库（database）、表（table）、记录（record）三层结构。MongoDB从模式自由出发，其集合对应于关系型数据库的表，但集合中没有行、列和关系的概念。MongoDB以键值对（key-value）集合的形式对数据进行存储，键是字符串，值可以取数组和文档对象类型。

2 MongoDB分布式存储策略

2.1地质灾害数据组织

（1）数据内容

本系统地质灾害数据主要包括遥感影像数据、空间矢量数据等以及其他非结构化数据。

（2）数据组织与管理

地质灾害数据从形态种类上可分为文件型数据、空间数据、栅格数据、屙陛数据等。

①文件型数据的组织管理

系统采用文件库的方式对这些文档进行管理，并将数据存放到GridFS中。

②矢量数据的组织管理

系统采用专题分层和空间分幅的方式来组织管理矢量数据。

③栅格数据的组织管理

同一分辨率的栅格数据被组织在一个层内，对不同分辨率的栅格数据：分辨率越小，越靠近顶层。栅格数据进行切图缓存预处理。

④属性数据的组织管理

地质灾害数据所涉及的属性数据包括原始搜集资料、遥感解译数据、无人机航测数据、工程地质测绘数据、地球物理勘探数据、工程地质勘探数据、原位测试与室内试验数据、综合研究与分析成果等多专题的地质信息数据，以非结构化数据模式进行组织管理。

⑤数据分布、传输与备份

A、数据分布方式：数据采用集中式与分布式兼容的管理模式。

B、数据传输与通讯：C/S系统的客户端与数据库服务器的数据传输在局域网内通过TIP/IP传输；Web服务器与数据库服务器的数据传输同上；浏览器与Web服务器的数据传输在广域网上以Http协议进行传输。

2.2 MongoDB分布式部署

MongoDB服務器部署可以根据需求选择不同的方式。Config server、mongos、mongod可以作为单独的服务器进行部署。MongoDB分布式部署架构如图l所示。

mongos部署在Server2、4、6（mongod）上。mongos与mongod之间的通信在本地完成，大大降低了通信成本。mongos部署在三台服务器上，避免了mongos出现单点故障，并且方便了管理员对系统进行管理。Config serveI（配置服务器）部署在serverl、3上，避免了Config server（配置服务器）出现单点故障。将MongoDB作为一个相对独立的系统，与应用的耦合度尽量降到最低，部署“客户端服务器”在单独的服务器上，更换数据库时能有效减少工作量。

结束语：存储在MongoDB中的地质灾害相关数据文件，不用考虑文件名是否符合操作系统规范以及一个文件夹下的文件是否过多。另外，MongoDB还具有方便保存和读取文件属性的特性，例如判断文件类型、大小、像素等等；方便实现大量的文件上传及管理。通过以上方式，为解决海量地质灾害相关数据的存储、管理等问题提供了—个思路。endprint