张庆祝

1.西安石油大学 710065 2.延长油田股份有限公司 716000

延长油田存储虚拟化技术研究及应用

张庆祝

1.西安石油大学 710065 2.延长油田股份有限公司 716000

本文介绍了基于主机层的虚拟化、基于存储设备的虚拟化、基于网络的虚拟化三种虚拟化技术，并根据延长油田数据中心的实际情况，提出了一种基于H3C CAS零存储云平台的云计算基础架构技术方案，为延长油田信息化建设进一步深化应用，提供了理论依据和实践经验。

存储；虚拟化；整合；H3C

一、前言

存储技术的应用和集成是目前全球发展最快的工业技术之一，存储技术产业已经成为IT行业内的第三大产业。存储虚拟化技术，是指把多个存储介质模块通过虚拟化的手段集中管理起来，所有的存储模块在一个存储池中进行统一管理，实现同构或异构的多个存储设备的统一管理，向用户提供一个大容量、高数据传输带宽的存储系统。存储虚拟化技术可以减少存储系统的管理复杂度，使得人们只需去利用虚拟化以后的统一的存储空间，而不必去考虑物理存储设备的细节，同时可以提高存储设备的利用率，节约存储设备的成本。

延长油田数据中心机房建成距今近10年，根据油田公司的业务需求，先后购买了多套不同品牌的存储系统，如EMC、HP、IBM等，存储着延长油田生产、物资、电力、招标、设备、勘探开发动态库……等诸多应用系统数据，一定时期内解决了专业应用系统数据处理和数据存储与备份的需求。随着数据种类的不断增加、业务处理需求不断提高，现有存储设备架构逐渐突显出问题：存储系统相互独立、应用不均衡、不同厂商的存储设备互相不兼容、资源不能互通和有效利用。与此同时，现有的模式也给维护管理、故障排查、性能优化、数据迁移、容灾备份等进一步应用带来极大的不便，致使更大规模的数据存储和数据保护工作难以顺利开展。通过云平台可以有效支持各种业务系统对磁盘数据文件访问的需求，提升系统的效率和安全性，为油田的关键业务系统的稳定运行提供了可靠后台支持。

本文综述了存储虚拟化技术在延长油田虚拟化整合方案中的研究和应用，并探讨了未来虚拟化存储的发展方向以及存在的问题。

二、存储虚拟化技术

虚拟存储的技术一般分成三类：基于主机或服务器的虚拟化、基于磁盘或磁盘子系统的虚拟化和基于网络的虚拟化。

（一）基于主机层的虚拟化

主机层的虚拟化通常是在主机上安装存储管理软件，可以将多个存储系统的存储空间合并成单一存储池，并能分配给各不同的主机使用。如果仅仅需要单个主机服务器（或单个集群）访问多个磁盘阵列，可以使用基于主机的存储虚拟化技术。虚拟化的工作通过特定的软件在主机服务器上完成，经过虚拟化的存储空间可以跨越多个异构的磁盘阵列。

由于基于主机的虚拟是通过软件完成，因此会消耗系统CPU，容易造成主机的I/O性能瓶颈。同时，在每个主机上的虚拟化需要为每个主机单独安装软件，从某种意义上讲也就降低了系统的可靠性。

（二）基于存储设备的虚拟化

当有多个主机服务器需要访问同一个磁盘阵列的时候，可以采用基于阵列控制器内部的虚拟化技术。此时虚拟化的工作是在阵列控制器上完成，将一个阵列上的存储容量划分多个存储空间(LUN)，供不同的主机系统访问。这种意义的虚拟存储器大多数专业存储厂商都能提供。

基于存储设备和存储子系统的虚拟化对其后台所使用的具体硬件的兼容性要求很高，需要参数相互匹配，因此在存储设备升级和扩容过程中需要受到某些限制。准确地讲，基于同一磁盘阵列的所谓虚拟化技术并非适合存储整合需求的虚拟化技术。因为任何单一磁盘阵列的扩展能力有限，其扩展能力不能满足其作为存储池需求。

（三）基于网络的虚拟化

基于存储网络的虚拟化解决方案，其核心就是能够将网络中的所有存储资源分配给网络中所有的主机使用。基于网络的虚拟化是近来存储工业的一个发展方向。与基于主机和存储子系统的虚拟化不同，基于网络的虚拟化功能是在网络内部完成的。这个网络就是我们常常指的存储局域网络（SAN）。具体的虚拟功能的实现可以在交换机、路由器、存储服务器进行，分为带内（inband）和带外（out-of-band）的两种虚拟化方式。

1、带内虚拟

带内虚拟，常常也称作对称虚拟（Symmetric），是在应用服务器和存储的数据通路内部得以实现。在标准的设置中，在存储服务器上运行的虚拟软件允许控制数据（metadata）和需存储的实际数据在相同的数据通路内传递。存储服务器接受来自主机的数据请求，随后存储服务器会在其后台的存储设备中搜索数据（被请求的数据可能分布于多个存储设备中）。当数据被找到后，存储服务器将数据传送给主机，完成一次完整地请求响应。在用户看来，带内虚拟存储服务器好像是直接附属在主机上的一个存储设备（或子系统）。

2、带外虚拟

带外虚拟，又叫做不对称虚拟（Asymmetric），是在数据通路外的存储服务器上实现的虚拟功能。控制数据（metadata）和存储数据在不同的数据通路上传输。一般情况下，metadata存放在使用单独通路连接到应用服务器的存储服务器上，而存储数据在另外的通路中传递。带外虚拟减少了网络中的数据流量。但是一般需要在主机端安装客户软件，也容易受到攻击。

三、vStor零存储

vStor零存储是由H3C公司提出的一套云计算基础架构的技术方案。相比传统架构，这种融合技术架构具备更好的扩展性，能有效提升I/O速度，并降低空间占用和能源消耗，代表了云计算数据中心的技术发展方向。

H3C CAS零存储云平台融合了计算虚拟化和存储虚拟化，在一个硬件平台上同时提供计算资源和存储资源。通过这一平台可以构架无专门共享存储设备的IDC，从而极大的降低采购成本。H3C CAS零存储方案采用了MPP架构，该架构是目前互联网普遍采用的计算、存储一体化架构，具有很强的可扩展性。而且CAS零存储方案在互联网架构的基础上，进一步改进了元数据管理方案，采用无中心节点的分布式元数据管理，不仅消除了元数据服务器存在的单点故障，而且实现高度自动化管理，减少了维护复杂性。CAS零存储方案采用的存储虚拟化技术，如分布式LUN、分布式热备空间、多副本设计等，是目前高端存储普遍采用的技术，如EMC VMAX，IBM XIV，HP 3PAR等都采用相同或者类似的技术，这些技术都是提供存储高可用性和稳定一致的存储性能的关键技术。

H3C CAS零存储充分利用了提供计算虚拟化的服务器的磁盘驱动器资源，从而虚拟出一个共享存储供虚拟机使用。这个虚拟的共享存储在功能上与独立共享存储完全一致；同时由于虚拟SAN与计算完全融合在一个平台上，用户无需像以往那样购买连接计算服务器和存储设备的SAN网络设备。

四、延长油田存储虚拟化方案设计与实现

（一）分布式LUN设计

在H3C CAS零存储云平台中，每台服务器同时也是一个存储节点。除了安装平台软件的系统盘外，每个节点上的其他所有磁盘空间都被划分为大小相等的存储块，这些存储块称为“chunk”。CAS会使整个LUN的chunk尽量均匀分布在所管理的全部节点和物理磁盘上，这样的设计使得对LUN的IO操作能利用整个系统中全部节点和磁盘的性能，也就是说用户创建的LUN将横跨全部服务器节点。

当用户创建一个LUN时，CAS并不会马上为该LUN分配实际的物理存储空间，而是采用精简模式，在有数据写入的时候以chunk为单位分配存储空间。

（二）高可用性设计

用户可以根据业务需要为数据设置副本数量。CAS支持用户为每个LUN设置2－5个副本，并且使得不同的副本分布在不同的服务器和物理磁盘上，从而提供最大的容错性。当一个服务器故障，甚至多台服务器故障时，系统仍能正常工作，而且数据不丢失。CAS允许数据副本按照机柜分布，即同一数据的不同副本会存放在不同的机柜中。

当出现大面积的同时故障导致某些用户数据所有副本都丢失的时候（比如存有同一数据不同副本的硬件恰好同时全部故障），受影响的只是这些丢失的数据，其他数据和共享存储服务仍然正常运行。

（三）高性能设计

1.7 设计方法：处理和对照均为绥农26号大豆品种，公顷用48%开磷复合肥200kg，加入50%硫酸钾50kg，均为5月11日播种，公顷用大豆种子为55kg。播种后第三天，即5月14日，用99%乙草胺1800mg/公顷+75%噻吩磺隆30g/公顷，兑水500kg/公顷，封闭灭草。田间管理均为趟两遍地，苗后茎叶处理用25%氟磺胺草醚2000ml/公顷+12%烯草酮1200ml/公顷兑水320kg均匀喷雾，秋后拿一遍大草。田间防治病虫害时用药剂及时防治，大豆食心虫防治时间为8月7日，通过秋季测产及收获看，食心虫防效甚好，虫食率较低。

CAS零存储云平台提供的虚拟SAN本质上是一种分布式架构（单一集群最大能管理256个服务器节点），其存储容量和性能随着服务器节点的增加而线性增加。由于每个LUN都横跨全部服务器节点和物理磁盘，所以每个LUN都可以利用全部服务器和物理磁盘的性能，从而提供比传统存储更高的性能。

此外，不同于传统RAID以专用空闲磁盘作为热备，CAS零存储云平台自动提供热备空间，并且将热备空间均匀分布在全部服务节点上。这样当数据重构启动后，全部服务器及物理磁盘都可以参与重构从而实现最佳的重构效率。

可以在每个服务器节点上配置RAID卡缓存来增强IO性能，根据存储容量的不同可以配置512MB-2GB不等的RAID卡缓存。在追求更高性能的时候，还可以在每台服务器上配置2块SSD固态硬盘作为缓存。

（四）自动化管理设计

CAS零存储系统采用无中心架构，每个服务器节点的角色完全一样，这样用户无需像传统分布式存储系统那样管理元数据服务器。而且整个虚拟存储系统的元数据采用分布式设计，由系统自动管理，无需人工干预。

当系统扩容时，用户只需几条简单命令将物理部件加入集群，系统上原有的数据将自动重新均衡，原有LUN将自动扩展到新的物理设备上。

五、延长油田零存储云数据中心方案部署

利用H3C公司的云业务单元，可以搭建架构简洁、性能稳定的云计算数据中心。H3C云业务单元是集成了计算虚拟化和存储虚拟化特性的软硬件集成平台，能同时提供虚拟计算和虚拟存储资源。多个云业务单元通过以太网络连接在一起，构成功能完善、性能优越的云计算中心。

下图是由三个业务单元组成的云计算数据中心组网图，用户根据业务对计算资源和存储资源的需求，选配不同型号的云业务单元，配置容量和性能最适合的物理硬盘。集群数据交换网络用于云业务单元之间的数据交换，建议采用10G以太网交换机。集群管理网络用于云业务单元内部管理，可采用千兆以太网交换机。对外业务网络用于数据中心对外提供业务。

图4 云计算数据中心组网图

六、结束语

2011年后，延长油田数据中心核心网络和服务器等设备陆续进驻，机房建设得到不断延伸和扩展。按照公司下一步信息化建设规划，未来对于存储能力将是一个十分庞大的需求。延长油田信息化建设正探索有效的方法解决数据中心面临的问题，最大化信息化建设效能，是深化数据中心信息化建设的重要组成部分。

存储虚拟化技术能够改善机房的运行环境，减少存储系统数量、优化资源配置并简化管理，是延长油田深化建设，最大化的发挥资源作用，促进信息化主动为集团服务的一种重要手段。

根据延长油田数据中心的实际情况，本文提出了一种基于H3C CAS零存储云平台的云计算基础架构技术方案。它融合了计算虚拟化和存储虚拟化，在一个硬件平台上同时提供计算资源和存储资源。通过这一平台构架无专门共享存储设备的IDC，从而极大的降低采购成本。方案实施后，可有效地支持了各种业务系统对不同存储磁盘需求，提升系统的管理效率和关键应用系统数据的安全性，为油田的关键业务系统的稳定运行提供了可靠后台支持，减少了系统运行风险和运维成本。将来，系统进一步扩展可以实现对异构存储环境的整合，以便适应集中的数据存储和未来的异地容灾的需要。

[1]张光．存储虚拟化技术的研究[D]．北京交通大学,2013．

[2]覃志武,方凯彬,刘北卓．存储虚拟化技术研究与比较分析[J]．信息与电脑(理论版),2016(08)．

[2]李云英．存储虚拟化技术在企业数据中心的应用[J]．电脑知识与技术,2014(18)．

张庆祝，男，西安石油大学硕士研究生，延长油田股份有限公司职工。