尚枫，董爱强，张剑，王国霞，张宏阁

（1.北京大学城市治理研究院，北京 100871；2.北京中电普华信息技术有限公司，北京 100192；3.北京科技大学自动化学院，北京 100083；4.北京德瑞恒安能源科技研究院有限公司，北京 100191）

1 引言

在智能电网的建设和“十二五”规划提出的“三集五大”发展战略的推动下，国家电网公司对云计算进行深入研究[1-4]，并于 2010年跨出了电力云建设的第一步——资源池的规划和建设[5-9]。存储资源池作为资源池数据存储和数据备份的重要部分，在2013年资源池建设的版本上，提出了“两级三类”的存储池建设规划和实施方法。即为满足不同主机和不同业务数据的存储需求，对整个存储池进行了分级和分类规划，形成了集中部署的一级存储、满足虚拟化存储的二级存储和分布式存储的两级三类的存储池。

对电力企业的两级三类的存储池而言，它含有不同类别和不同性能的存储资源，是一个规模庞大、资产归属多层组织架构、设备种类复杂且异构现象突出的储蓄池，所以必须有一个“大脑”对上实现资源服务的统一封装和服务化供应，对下实现对存储资源的统一管理和调度，它保障存储池的有效管理和可持续性运营，同时为企业业务应用的简单使用提供有力保障[10,11]，这一“大脑”就是存储池的管理系统。

本文在明确了电力云中两级三类存储池总体架构的基础上，提出了针对该存储池的管理系统应具备的功能特性，并根据两级三类存储池的特点，对管理系统的工作结构进行了设计分析，进而对存储管理系统的总体架构进行了设计，并对总体架构中的各个功能模块的实现进行了详细的阐述。该管理系统不仅可以对电力云中存储池的管理发挥了积极作用，还对其他企业乃至云计算系统的管理起到抛砖引玉的实践作用。

2 存储池管理系统的功能框架

2.1 电力云存储池的总体架构

电力云存储池总体架构具有“两级三类”的存储结构，即集中部署的一级存储、满足虚拟化存储的二级存储和分布式存储的两级三类的存储池，如图1所示。其中，一级存储包括用于支撑业务应用系统所需要的存储资源，主要满足各类物理机池或小型机虚拟池对存储的需求，由于这些主机规模较大、并发数高、数据类型复杂，因此选用高端集中式存储；二级存储包括用于支撑服务器虚拟化镜像文件所需要的存储资源，主要为满足 x86虚拟化池虚拟映像对存储资源的需求。

图1 资源池存储池的存储结构

在两级三类的存储池中，存储虚拟化池根据存储资源的性能、可靠性，分为高端存储资源池和中端存储资源池，其中，高端存储资源池主要用于高性能、高可靠需求的业务应用，中端存储资源池主要用于高性能、高可靠需求和中等性能、高可靠需求的应用；分布式存储池按照 I/O处理能力划分为高I/O处理能力和普通I/O处理能力，其中，高 I/O处理能力的分布式存储池主要用于高性能、中等可靠性需求和中等性能、中等可靠性需求的应用，普通 I/O处理能力的分布式存储池则用于一般性能、中等可靠性需求的应用。

2.2 存储池管理系统的功能框架

存储池由存储虚拟化池和分布式存储池构成，对存储池的管理可以分为存储虚拟化池管理、分布式存储池管理以及基于这两种存储池管理的统一存储池管理，存储池管理系统的功能框架主要包括如下内容。

（1）支持存储的异构

存储设备种类繁多，主流的国外存储厂商有IBM、HP、EMC、HDS、NetApp等，国内有华为、浪潮等，存储异构现象突出。在存储管理领域中，由国际存储工业联合会（SNIA）制定的存储管理主动性规范（SMI-S）是一个事实的标准，主流厂商参与了该规范的制定，并提供了相关的接口软件。存储管理模块应当支持SMI-S协议，实现对异构存储设备的支持。

（2）实现主动运维

在云计算环境中大量使用了存储阵列和分布式存储系统，设备节点很多，导致人工运维和被动运维都无法适用于云计算环境中。存储管理系统应当变被动运维为主动运维，简化运维管理难度，提升云计算服务水平。如在存储虚拟化环境中，应当发现光纤链路潜在问题，主动预警潜在的故障点；在分布式存储系统中，应当发现各个节点的潜在问题，及时发起数据的重新分布，避免服务级别降低甚至数据丢失。

（3）存储池的统一管理

对存储虚拟池和分布式存储池进行统一管理，对池中的资源进行统一分配、使用和回收。如支持对存储虚拟化设备的卷分配、映射和收回操作，支持对分布式存储系统的文件系统、块存储和对象存储的分配和回收操作。

（4）对资源的管理

首先对不同池中的异构存储资源进行适配和控制，如容量管理、配置管理、性能管理等。然后提供标准化的资源管理接口，以方便对资源进行配置和控制。

（5）服务管理功能

针对不同的用户，提供有针对性的服务管理，如报表管理等。

（6）应用展示功能

对存储池中各个业务模块进行统一封装，针对不同用户提供存储资源的使用情况，提供普适、直观、简单、易用的使用接口。

3 存储池管理系统的总体架构

3.1 存储池管理系统的部署结构

根据电力云资源池中存储池的架构分析和存储管理系统的功能分析，存储池管理系统的典型部署架构如图2所示。

存储管理系统需要把存储阵列和光纤交换机的控制口接入网络，出于安全考虑，可建立专有的存储管理子网，将存储管理所需的服务器放入存储管理域。其中，若干台作为数据库服务器，若干台作为存储设备的接口机，存储管理系统通过核心交换机连接到业务网络。

在存储的虚拟化中，由虚拟化设备（如国网现有环境中的HP/HDS高端虚拟化存储）向下统一管理后端的中高端存储，向上提供存储虚拟化池，存储管理模块通过存储管理协议对虚拟化存储池进行管理。

在分布式存储池中，由分布式存储系统向下管理x86存储服务器集群，部分存储设备挂在x86集群中提供存储空间；向上提供分布式存储池。分布式存储系统提供标准的存储管理协议（如云数据管理接口或者Web services）等访问接口，由存储管理模块进行管理。

存储管理模块整合存储虚拟化和分布式的存储接口，向云资源管理平台提供统一的存储池管理接口，该接口基于Web services协议，存储池管理系统的管理架构如图3所示。

图3 存储池管理接口架构

3.2 存储池管理系统的逻辑架构

存储池管理从逻辑上分为3个层次，从上到下依次为展现层、数据处理层和适配器，其逻辑架构如图4所示。

（1）展现层

展现层提供了Web展现界面，包含存储监控和运维管理两个主要模块。其中，存储监控模块包含告警管理、配置管理、拓扑管理、性能管理、容量管理、资产管理、报表管理、权限管理和系统管理。在系统功能中已经对告警管理、配置管理、拓扑管理、性能管理、容量管理、资产管理、报表管理分别进行了描述。

展现层也提供了数据访问层的接口，可以对外提供页面集成、单点登录和Web services数据访问。展现层对从数据库获取的数据进行展示，数据库的内容完全由数据处理层进行管理。

实现中华民族伟大复兴中国梦是中华民族近代以来最伟大的梦想，也是逐渐强起来的中国在新时代孜孜以求的目标。统一战线以实现中华民族伟大复兴中国梦为奋斗目标，并服务于中国梦的实现。作为凝心聚力的重要法宝，统一战线以共同体意识汇聚中国力量，吹响实现中华民族伟大复兴的集结号，为实现中国梦保驾护航；以包容开放的心态团结国际力量，打造共商共建共享的新机制，为建设美好世界提供启发。作为中国外交的崇高目标，人类命运共同体聚焦全人类的共同关切，追求建立和平发展、安全和谐的世界。

（2）数据处理层

数据处理层包含数据服务器和事件服务器，主要完成对 agent端发送的数据的采集和各个设备转发的SNMP trap以及内部转发的策略告警。事件服务器在接受告警的同时，也承担了对告警事件的转发和事件外部处理程序调用等功能。数据处理层从agent拿到数据后，经过数据处理，最终进入数据库。

（3）适配器

适配器由各种各样的agent组成，包含SMI-S agent、DS agent、SNMP agent、host agent、VM agent等组件，用于与存储设备进行通信。存储管理模块提供了Web services接口与云资源管理平台集成，并把收集的存储设备告警、系统产生的预警转发到云资源管理平台进行统一处理。

4 存储池管理系统的实现举例

从以下几个方面的实例阐述存储池管理系统的实现情况，分别是基于业务的存储管理及应用展示、基于资源的存储管理及应用展示、报表及分析展示。

4.1 基于业务的存储管理及应用展示

提供基于业务为视角的存储管理方式，结合实际的业务分配和使用情况，提供多层次、多维度的基于业务的存储管理。基于业务的存储管理及应用展示见表1。

图4 存储池管理系统的逻辑架构

表1 基于业务的存储管理及应用展示

其中，基于用户实际业务需求的存储管理模块，用户可以基于硬件将业务系统分组，分组后的逻辑关系交由程序自动运算并生成完整的业务逻辑拓扑，用户可以在此基础上进行修改和完善，并进行布局的保存，从而完成业务拓扑的创建工作。为了帮助用户逐级深入地分析业务性能，该模块提供了尽可能细化的分类，从服务器、内置磁盘、卷组、文件系统、HBA卡，到交换机、端口、存储、存储卷，所有信息都展示在页面上并支持实时跳转的性能分析，协助用户快速定位瓶颈所在。该功能的展示接口如图5所示。

图5 基于业务热点的存储管理应用展示

4.2 基于资源的存储管理及应用展示

该部分功能主要包括存储配置管理、存储性能管理、存储告警管理、存储拓扑管理、存储管理门户，基于资源的存储管理及应用展示功能见表2。

4.3 报表和报表分析

表2 基于资源的存储管理及应用展示功能

表3 报表和报表分析功能

5 结束语

继2013版电力云资源池建设之后，国家电网公司建设了自有的两级三类存储池，本文针对该存储池的情况，对存储池的管理系统进行研究，对管理系统的结构部署进行设计，并提出了分层的管理系统总架构设计，详细介绍架构中各层功能。本文还详细阐述了管理系统的各种功能实现及各功能模块的详细作用。该存储池管理系统的研究和实现不仅极大地推动了电力企业云计算的发展，还可以为其他企业云计算技术的应用和实施提供很好的借鉴。

存储池是电力云资源池的一部分，资源池向电力企业提供多功能、系统更加复杂的资源，研究和实现针对整个资源池的管理系统是本文进一步的目标。

参考文献:

[1] 朱征, 顾中坚, 吴金龙, 等.云计算在电力系统数据灾备业务中的应用研究[J].电网技术, 2012, 36(9)： 43-50.ZHU Z, GU Z J, WU J L, et al.Application of cloud computing in electric power system data recovery[J].Power System Technology, 2012, 36(9)： 43-50.

[2] 王德文.基于云计算的电力数据中心基础架构及其关键技术[J].电力系统自动化, 2012, 36(11)： 67-71.WANG D W.Basic schema and key technique based on cloud computing’s data center[J].Automation of Electric Power Systems, 2012, 36(11)： 67-71.

[3] 沐连顺, 崔立忠, 安宁.电力系统云计算中心的研究与实践[J].电网技术, 2011, 35(6)： 171-175.MU L S, CUI L Z, AN N.Research and practice of cloud computing center for power system[J].Power System Technology,2011, 35(6)： 67-71.

[4] 赵俊华, 文福栓, 薛禹胜, 等.云计算： 构建未来电力系统的核心计算平台[J].电力系统自动化, 2010, 34(15)： 1-8.ZHAO J H, WEN F S, XUE Y S, et al.Cloud computing： implementing an essential computing platform for future power systems[J].Automation of Electric Power Systems, 2010,34(15)： 1-8.

[5] 王健伟.一种全新的IT建设架构—统一资源池[J].数据通信,2011(5)： 10-12.WANG J W.One new IT build schema——unify resource pool[J].Data Communications, 2011(5)： 10-12.

[6] 百云川, 钱敏谨.利用虚拟化技术构建资源池是实现云计算的第一步[J].中国制造业信息化, 2010(12)： 34.BAI Y C, QIAN M J.The first step of implement cloud computing is resource pool using virtual technology[J].Chinese Manufacturing Information, 2010(12)： 34.

[7] 张科, 董亮, 邹澄澄.利用云计算技术建立电力信息系统硬件资源池[J].湖北电力, 2014, 38(6)： 1-3.ZHANG K, DONG L, ZOU C C.Using technology of cloud computing build hardware resource pool of electric power information system[J].Hubei Electric Power, 2014, 38(6)： 1-3.

[8] 姚岳.运营商业务平台云计算资源池建设方案探讨[J].电信技术, 2015(4)： 39-45.YAO Y.Research on resource pool for carrier’s service platform based on cloud computing[J].Telecommunications Technology, 2015(4)： 39-45.

[9] 董亮, 詹伟, 袁慧, 等.湖北省电力公司云硬件资源池系统建设实践[J].信息与电脑, 2015(15)： 87-90.DONG L, ZHAN W, YUAN H, et al.The practice on hardware resource pool in Huibei[J].Information and Computer,2015(15)： 87-90.

[10] 宋真华.虚拟化技术中的存储管理问题研究[D].合肥： 中国科学技术大学, 2010.SONG Z H.The research on storage management of virtualization[D].Hefei： University of Science and Technology of China, 2010.

[11] 余胜生, 季文彬, 周敬利, 等.一种iSCSI存储管理系统的研究与实现[J].计算机工程, 2007, 33(23)： 258-260.YU S S, JI W B, ZHOU J L, et al.Research and implementation of iSCSI storage management system[J].Computer Engineering,2007, 33(23)： 258-260.

[12] 熊星, 杨亚军, 刘金刚.基于虚拟化环境的存储设备管理的研究与实现[J].微计算机信息, 2010, 26(36)： 46-47.XIONG X, YANG Y J, LIU J G.Design and implementation of storage device management system based on virtualization environment[J].Microcomputer Information, 2010, 26(36)： 46-47.