赵锦园+陈小凤+马小鹏+邵胜敏

摘 要： 首先由ISI（Integral Satcom Initiative）提出的卫星通信系统架构引出分布式存储在天地一体化网络环境中的作用；然后通过对天地一体化网络环境下的一体化综合信息系统按三种资源进行了抽象，进一步说明统一存储资源、数据管理和检索相关服务对提高天基信息系统效能的重要性。通过对几类典型的分布式存储技术进行了对比，根据天地一体化网络的特点提出无中心的分布式存储架构。对云存储系统的总体架构和服务模式进行了说明，针对天基信息系统特点提出构建天地一体化网络环境下的云存储系统的关键技术点。

关键词： 一体化； 天基； 分布式； 云存储

中图分类号：TP393 文献标志码：A 文章编号：1006-8228（2016）12-13-04

Abstract： The function of distributed storage technology in space-ground integrated network is introduced in this paper， which is based on the satellite communication system architecture presented by ISI （Integral Satcom Initiative）. The integrated information system in space-ground integrated network is abstracted into 3 resources in order to illustrate the importance of unified storage， data management and data retrieval services for enhancing the performance of space-based information system. A Non-central distributed storage architecture is proposed according to the characteristics of space-ground integrated network by comparing several typical distributed storage technologies. Then a general framework and service model of cloud storage system are described， and the key technologies of cloud storage system in space-ground integrated network are put forward according to the characteristics of space-based information system.

Key words： integration； space-based； distributed； cloud-storage

0 引言

“天地一体化网络”是21世纪科学技术的重大课题之一。根据欧洲卫星通信领域ISI技术联盟2008年提出的卫星通信系统构想，卫星通信系统由空中部分节点单元和地面部分节点单元构成。其中，空中部分节点单元包括静止轨道卫星、同步轨道卫星、中/低轨卫星、高空平台、无人机等，地面部分节点单元包括大容量的固定/可移动站、地面中继和分布式天线系统等。这个系统中的各种不同的节点可实现非常丰富的功能集合，空中节点可以提供从简单的透明转发，到极端复杂的星上存储转发和星上数据处理能力，通过连接各个空中节点，也可提供数据中继和分布式存储能力[1]。

随着数字技术和传感器的发展，面对TB级和PB级的海量异构数据，要准确及时地找到用户需要的数据和信息，对时空信息加工与处理的自动化、智能化和实时性提出了更高的要求。同时，为了适应空间网络的时延大、误码高、链路频繁通断等特点，且为网络动态重构提供支撑，对空间网络环境下的分布式存储提出了新的要求。

1 天地一体化网络环境下的综合信息系统

天地一体化网络环境下的综合信息系统示意图如图1所示。

每个节点单元对外提供三种资源，分别是传感资源、计算资源和存储资源（即数据资源），作为系统中一个资源节点，在系统的统一管理下工作[2]。通过资源发现、资源管理和资源重组为系统重构提供基础支撑；智能搜索引擎基于大数据存储与管理服务实现智能化的主动搜索和被动搜索，为业务层的信息交换、数据分析与挖掘提供高效手段。

2 分布式存储系统

按适合存储的数据类型，可将分布式存储系统[3]分为四类：分布式数据库、分布式键值系统、分布式表格系统和分布式文件系统。分布式数据库（如Oracle RAC）适用于存储结构化数据，采用二维表格组织数据，支持多表关联和嵌入式查询等复杂操作。分布式键值系统（如Taobao Tair）适用于存储关联关系简单但检索性能要求高的半结构化数据，通常只支持基于主键的操作，单存储节点上的技术实现与传统的哈希表类似。分布式表格系统（如Google Bigtable）以表格为单位组织数据，不仅支持基于主键的操作，还支持范围查找。分布式文件系统（如MoooseFS，GlusterFS，LusterFS和HDFS）是物理存储资源通过网络连接的文件系统，特别适用于存储视频图像等非结构化数据对象，同时也可作为分布式表格系统和分布式数据库的底层存储。

综合考虑天地一体化网络的特点以及天地一体化综合信息系统应用需求，本文推荐天地一体化网络环境下的底层存储架构借鉴GlusterFS的设计思想。

3 自主可控的云存储系统

云存储技术以分布式存储技术为基础，一方面高效地整合和管理网络存储资源，另一方面为业务层提供友好的数据读写和检索服务接口。主要功能有以下。

⑴ 提供基于海量数据的存储管理能力，实现海量数据的多机并行存储和管理。

⑵ 支持存储虚拟化，能够将多台存储设备的存储空间整合为存储资源池，实现存储空间的动态划分。

⑶ 系统采用Scale-Out架构，支持通过动态的增加设备单元，实现容量及性能的并行扩展。

⑷ 支持iSCSI、CIFS、NFS，多台数据服务节点可组成集群并行提供存储服务，单个数据服务节点故障时，其他节点可接替其服务。

⑸ 具备多种安全备份手段。支持磁盘镜像、文件副本等冗余备份，单个设备故障时不影响系统使用。

⑹ 提供基于Web的云存储服务，能够对数据文件进行高效管理，支持数据文件快速查询定位，支持RESTfull API接口。

⑺ 云存储服务支持共享数据和用户私有空间。

3.1 云存储总体架构

自主可控的云存储系统的总体技术架构框架如图2所示。

自主可控云存储平台支持在不同规模的自主存储阵列机群上的动态部署，并支持系统动态重构、存储及数据资源的安全统一管理、自适应多级备份及恢复、按需安全存储服务等。由安全云存储服务、安全交换服务、海量数据管理、系统管理组成。其中：安全数据云存储服务是满足用户多种需求的云存储服务，关注的重点在于服务的安全、使用的方便和性能高效，提供对象存储服务、文件存储服务、基于块的卷存储服务三种服务内容；安全数据交换服务包括提供安全的手段提供支持异地多中心的数据订阅和分发、高速数据迁移等功能，提供完成统一的消息接口以及消息订阅分发机制，提供安全又高效的数据导入导出，提供异地多中心间的可靠的数据交互服务；海量数据管理实现海量异构数据（结构化、非结构化）的统一管理，支持数据的快速检索、并行访问，支持数据的快速加解密，支持数据的多机备份；系统管理提供包括用户管理、空间管理、资源管理、密钥管理在内的系统管理功能，实现强身份认证、用户及资源隔离分配、多级权限管理等管理功能。

自主可控存储阵列包括存储操作系统软件和存储阵列硬件。自主存储操作系统软件基于面向存储进行优化和定制的操作系统内核，集成自主可控的存储功能软件包括卷管理、存储虚拟化、存储接口、快照、存储加密等软件，提供统一存储管理和安全的存储服务。

安全防护及审计针对云存储操作系统，提供防火墙、入侵监测、病毒查杀、审计日志、监控报警等功能，能够针对外部攻击、病毒攻击，提供防护并提供监测报警手段。

安全机制通过针对云存储系统的统一安全架构和策略，并将其贯穿整个云存储平台，将多安全级强制访问控制、加密、审计等安全机制融入到平台的相关存储访问、数据存储、存储备份各环节中。

3.2 云存储服务

采用云存储系统，可以使应用层不再需要关心数据放在哪里、怎么管理，以及如何进行数据安全防护，通过统一的云存储服务接口为应用层用户提供数据服务。

云存储系统内部实现数据统一管理、数据备份、分布式集群管理、数据加密和安全防护。根据不用的应用需要可提供虚拟卷服务、结构化和非结构化数据管理服务、云盘服务，支持CIFS、NAS、iSCSI接口协议，支持基于HTTP协议的网盘读写，提供云存储API（支持REST风格、JSON风格或定制化）。

4 天地一体化环境下的云存储关键技术

与地面信息系统相比较，天基信息系统具有其特有的动态特征[5]。

由于卫星空间位置的时变性，使得资源网络拓扑会随卫星空间位置的变化而产生一定的时变性，资源的使用也具有时间窗口特性。

天基信息系统的建设是一个长期过程，系统资源的数量、性能和资源类型在不断更新变化。还有就是从维护的角度看，一旦某个卫星资源失效或故障很难修复的，也会导致系统资源组成变化。

因不同用户对天基信息系统应用服务需求差异较大且会发生变化，其系统资源动态变化将直接导致系统提供的应用服务在变化。

因此，需要采用一种具有高度动态开放性的体系架构来适应系统资源和应用服务的动态变化。构建天地一体化网络环境下的云存储系统，关键技术点有以下六点。

⑴ 数据分布：如何将数据的多个副本分布到多个节点，以及分布后如何实现跨节点的读写操作；

⑵ 数据一致性：在异常情况下，如何保证不同副本的数据一致性；

⑶ 容错和动态自适应：如何检测到节点故障，并自动将故障节点上的数据和服务迁移到网络中的其他节点；

⑷ 负载均衡：系统运行过程和新增节点过程中如何实现自动负载均衡，数据迁移过程如何保证不影响服务正常运行；

⑸ 事务和并发控制：如何实现分布式事务和多用户并发控制；

⑹ 高效能和低开销：如何在高效能和低开销间平衡，在空间有效资源环境下如何以低开销保证综合信息系统的高效能。

5 结束语

综上所述，构建面向天地一体化网络环境的自主可控云存储系统是提高天地一体化综合信息系统效能的基础。鉴于天地一体化信息网络的理论基础、网络组成、网络拓扑结构、路由技术、网络协议等都不同于地面因特网[4]，虽然可以借鉴地面通用云存储系统高性能高可靠可扩展的设计思想，但云存储技术在天地一体化网络环境下的应用还面临众多挑战。

另外，天地一体化网络数据安全的机密性、完整性、可用性十分重要，存储系统如何实现自主可控，如自主可控软硬件，甚至从芯片开始到操作系统、开发环境/工具、应用程序的国产化要求已是目前武器装备对存储系统的迫切要求。

参考文献（References）：

[1] 闵士权.天基综合信息网构想[J].航天器工程，2013.22（5）：

1-14

[2] 杨小牛，杨志邦，赖兰剑等.下一代信号情报侦察体系架构：大

数据概念的应用[J].中国电子科学研究院学报，2013.8（1）：1-7

[3] 杨传辉.大规模分布式存储系统原理解析与架构实践[M].机

械工业出版社，2013.

[4] 胡源，姜会林等，天地一体化信息网络国外发展现状与趋势[C].

“天地一体化信息网络”高峰论坛论文集，2013.

[5] 赵阳.易先清.罗雪山等.一种动态开放性天基信息系统应用

体系研究[J].系统工程与电子技术，2008.30（6）：5-9