摘  要： 遥感数据管理是对来自各类卫星传感器大批量数据高效接收、存档、监控等，通过多种遥感资源的整合，实现多种传感器数据采集和数据归档存储管理功能，提供多种查询方式，支持数据的可视化展示，支持数据记录编辑和数据统计等功能，并能提供多种数据打包下载功能和定期推送功能。可面向政府内部用户，各行业用户、社会公众用户提供数据分发服务。通过整合数据资源，实现资源的交换和共享，实现遥感数据通用数据处理功能、门户网站和应用示范建设，实现政府相关部门的互联互通，为各类用户提供服务。

关键词： 卫星遥感; 虚拟;云存储;信息数据

中图分类号： TN927+.23    文献标识码： A    DOI：10.3969/j.issn.1003-6970.2019.05.037

本文著录格式：于海滨. 遥感数据资源管理研究[J]. 软件，2019，40（5）：190192

【Abstract】： Remote sensing data management is to realize functions of multi-sensor data acquisition and data archiving， storage and management， provide various query modes， and support visualization display of data， data record editing and data statistics， and provide a variety of data packaging and downloading functions and regular push functions based on efficient reception， archiving and monitoring of large quantities of data from various satellite sensors and integration of various remote sensing resources， which can provide data distribution services for users of government， all walks of life and the public. By integrating data resources， it can realize exchange and sharing of resources， general data processing function of remote sensing data， construction of portal website and application demonstration， and interconnection of related government departments， and provide services for all kinds of users.

【Key words】： Satellite remote sensing; Virtual; Cloud storage; Information data

0  引言

遥感数据集具有典型的大数据特征，即数据体量大，数据多样性且变化快等特征。同时，根据本平台的需求，系统中也存在大量用于地图服务和展示的瓦片小文件数据。要满足遥感大数据和海量瓦片数据存储的需求，传统的存储系统和存储方式已经不能满足要求，需要采用遥感数据资源库管理系统进行统一管理。

1  遥感数据资源库管理系统整体架构

遥感数据资源库管理系统基于现有硬件实施，采用分布式存储架构，支持4至500台的服务器存储集群;提供统一的用户访问接口，支持标准的POSIX接口标准。该系统避免了SAN、NAS等传统共享存储的信息孤岛现象所导致的利用率低下、硬件兼容性差、管理使用复杂、难扩展等缺点[1]。其架构图见图1。

存储资源层主要是实现存储设备、网络等基础资源管理，以及对硬件设备进行状态监控和监测[2]。云存储系统层通过分布式云存储系统实现多个存储设备间的工作协同，多个存储设备可以统一对外提供同一服务，增强数据访问性能，保证系统的安全和稳定。云存储系统層提供标准的公用接口，以便开发人员进行二次开发。为提高安全性，针对不同的用户提供了不同的用户角色，并为用户提供了注册、登陆、以及登陆后用户的安全认证，只有通过了安全认证，才能访问系统，保障了对系统的安全访问。采用了类似linux系统的权限管理机制，不同的用户角色分属于不同的权限组，每一个权限组具有读、写、执行的权限位。对于属于某个权限组的用户，只有拥有读、写或执行的权限才能访问，存储以及执行文件内容。进一步保证了系统的安全性和可控性[3-5]。

访问层主要是提供给客户端访问，用户也可以使用公用接口进行开发以访问分布式存储系统。针对本平台，主要是提供数据接收系统的写入分布式存储和数据分发系统读取分布式存储以及对整个“实时鸡西”的门户系统进行数据存储支撑。

系统可通过提供对文件进行分块存储，并发对文件进行读写，从而提供高I/O带宽;能在不同存储节点上保存3份以上文件分块副本，无单节点故障;元数据服务器具备冗余灾备，当主元数据服务器发生异常时，可由备元数据服务器接管，当主/备元数据服务器均发生故障时，可从日志服务器恢复数据;可在不断电条件下，动态添加新节点进行空间扩容，支持PB级文件存储;在部分数据节点宕机的情形下，可从剩余节点中自动恢复副本数量，副本数量恢复后，支持节点的再宕机，依次类推，提供容错的可持续性。

该分布式云存储系统，在千兆网络环境下，两个存储节点以上，可使系统的IOPS达到16300，客户机读取速度可达60M/S[6]。

2  遥感数据资源库管理系统功能

2.1  满足企业数据存储要求

系统同时保障海量遥感大数据以及海量小瓦片数据的高效存储。

2.2  提供丰富的访问接口

作为底层支撑系统，具有丰富的访问接口，能方便平台其他系统访问、存储、使用系统中的数据。具有文件的读、写、删除、创建等操作接口。接口满足posix规范，提供客户端，模拟本地硬盘读写模式，像使用本地硬盘一样使用分布式云存储空间。

2.3  提供api编程接口，方便进行二次开发。

提供restful编程接口，开发人员可以直接使用，从而达到访问分布式云存储系统的所有功能

2.4  强健的安全认证体系

为保证对系统的安全访问，只有注册的合法用户才能访问。用户需要使用用户名、密码登陆获取签名。每次访问均需对签名进行安全认证，只有安全认证通过了，才能访问系统。安全认证系统需要具有严格的防盗链功能[7]。

2.5  严格的权限控制

采用了类似linux系统的权限管理机制，不同的用户角色分属于不同的权限组，每一个权限组具有读、写、执行的权限位。对于属于某个权限组的用户，只有拥有读、写或执行的权限才能访问，存储以及执行文件内容。

3  遥感数据快速处理

为了快速处理海量卫星遥感数据，解放人工生产、降低数据处理成本、提高数据处理效率为目标，主要是围绕对高分系列、资源系列等卫星遥感数据产品生产加工所提出的高精度、全自动化、快速化、规模化需求，整合遥感空间信息技术成果，突破数据无人工参与的快速处理、高精度空间定位、生产并行化流水化管理等核心技术问题，建设一整套面向遥感空间产品生产加工系统，建立多级多类的遥感数据产品库，实现卫星遥感数据的标准产品生产和在线可视化产品生产。

在应用方面，基于海量卫星遥感数据，通过对数据进行自动化处理，构建基于时空网格的分幅遥感影像数据库，并切片发布，为公众提供最新和可追溯的影像地图服务;同时，通过监控城市的分幅影像覆盖情况，定期生产城市镶嵌影像和专题信息数据，供专业用户使用[8]。

在类型方面，数据生产线根据不同卫星遥感数据源和不同类型产品进行划分实时更新生产线、一张图生产线。

在技术方面，引进基于MapReduce环境的多任务并行遥感处理技术，形成即时处理、即时发布的遥感服务新模式;结合优秀的自主研发的影像融合、几何校正、去雾、色彩增强、镶嵌匀色等算法，较于同类型技术，能够更快更好地生产优质的影像产品。

自动化生产线图见图2。

对数据中心中已获取的数据，经过云量等方式过滤数据推送至分布式云存储中;创建任务分发系统和MapReduce多任务并行处理环境，执行数据处理系统各项处理功能;在数据处理系统中，三点特性：全自动化、高效率、高精度;在地图切片系统中，切片水印功能提供在线浏览的数据基础，在并行框架的支撑下，能够更快速的对瓦片进行并行切割、更新、水印等处理，自动检测该区域影像分辨率并自动设定影像切片层级，最后完成自动发布，数据保存至瓦片缓存库中;在系统数据库中，瓦片缓存库存储多时相多分辨率多数据源的瓦片数据，时空信息库中存储数据的时间信息空间信息和必要的矢量属性，用户信息库和其他数据库用来进行存储在线系统的用户及数据交换信息，保证整个系统的常态化[9]。

4  遥感数据资源库管理系统特征

4.1  高可靠

系统采用大容量存储服务节点，通过管理平台实现统一管理和容错，系统高效高、服务稳定。系统中的数据具有多个副本，数据不会丢失。任何节点发生故障后，系统会自动将数据复制到新的节点上，从而实现无间断数据服务。

4.2  高性能

系统将数据流和控制流有效分离。数据通过并行读写，实现各个存储节点存储或读取。系统的吞吐量和IO性能随存储节点数目增加呈线性增长。同时通过负载均衡，自动调节均衡各服务器负载，让各个存储节点的性能达到最高[10]。

4.3  高效存储

一般存储系统都可以很好支持大文件存储，但对于小文件存储效率比较低，因为文件系统规定一个文件最小占用磁盘空间，这样存储许多瓦片数据（小于该最小占用空间的文件）就会造成大量存储空间的浪费。为了解决这个问题，系统将小文件合并成大文件，并为其建立高效的索引机制，即避免了存储空间的浪费，又提高并发的访问效率。

4.4  高可扩展性

系统可以在不停服务情况下，动态增加存储节点，系统扩容非常方便快捷;同理，系统可以在不停服务情况下，也可以减少存储节点，自动缩减系统规模。被减少节点上的数据将会备份到其他节点上。

5  结论

总的来说，遥感数据管理是为用户提供数据、提供服务的基础。遥感数据资源库管理系统拥有高可靠、高性能、高效存储以及高可扩展性等特点，同时要实现满足企业数据存储要求、提供丰富的访问接口、强健的安全认证体系以及严格的权限控制等使用需求，以便遥感数据资源库管理系统可以對数据进行快速处理。

参考文献

[1] 谈佩文. 云存储技术在食品安全视频监控领域的应用[D]. 南京. 南京邮电大学， 2017.

[2] 祝建武. 云存储在企业容灾备份中全新模式探析[J]. 现代商贸工业， 2011， 23（03）： 268-269.

[3] 罗菲. 大数据场景下的云存储技术与应用[J]. 信息与电脑（理论版）， 2018（23）： 138-139+142.

[4] 沈文文. 视频存储风起“云”涌[J]. 中国公共安全， 2013（20）： 172-176.

[5] 汪玉学. 云存储技术在安防领域的应用[J]. 中国安防， 2011（07）： 41-43.

[6] 李琳. 基于云存储的教学资源整合研究与实现[J]. 计算机光盘软件与应用， 2014， 17（18）： 260-261. .

[7] 唐华东. 广电监测监管中运用云技术的具体技术方案分析[J]. 电视指南， 2018（02）： 239.

[8] 袁高峰， 吴亚洲. 超低功耗云存储系统——cStor[J]. 电子世界， 2016（09）： 120.

[9] 戚建国， 丁金扣， 张华. 一种基于云存储环境下的数据处理机制[J]. 软件， 2015， 36（01）： 141-144.

[10] 焦利， 孙松周， 刘天须， 等. 元数据驱动的分布式数据资源管理技术[J]. 计算机与现代化， 2019（03）： 78-84.