APP下载

浅析跨存储数据迁移技术

2015-11-25

制造业自动化 2015年16期
关键词:存储设备存储系统镜像

张 瑛

ZHANG Ying

(中航飞机西安飞机分公司,西安 710089)

0 引言

企业通常采用上一套应用配置一套服务器和存储的项目式系统建设模式,经过一段时间的发展,在IT系统架构内往往积累了多套各种类型及品牌的存储设备。较有实力的企业,都搭建了基于SAN的存储网络,接入了核心存储设备及服务器,但管理上可能仍然是一套应用配一套服务器及存储设备的竖井模式。由企业业务系统的持续快速增长带来数据膨胀的压力也带来了更多的数据迁移需求,无论是硬件设备还是应用系统的更新换代都将面临数据迁移的问题。

1 数据迁移技术比较

数据迁移技术属于存储管理的核心技术,承担着存储设备升级、维护以及数据备份、归档及恢复过程中数据迁移、调度的繁重任务,数据迁移的效率及可靠性直接影响着整个系统的性能优劣及数据安全。本文将对存储系统中现行的各种数据迁移技术逐一进行介绍,并对它们的优缺点进行比较。

存储系统的数据迁移技术[2]从其操作层面上可以分为应用层、系统层和存储层三个层面。它们的执行方式、效率以及对业务系统的影响都不尽相同。系统管理人员在执行数据迁移项目时必须对当前系统的现状进行充分的调研,对各种数据迁移技术进行充分的评估,在保证数据安全的前提下选择对业务系统影响小的迁移技术,并且在项目实施过程中必须进行充分的测试工作。

1.1 应用层

在软件层面实现数据存储位置的迁移可以大致分为两种,一种是利用应用软件自身的迁移功能,另一种是利用专业的数据管理软件进行自动的数据迁移。虽然两种迁移技术都可以实现数据存储位置的改变,但两种迁移技术的目标和功能显然不同。

许多应用软件都带有数据迁移功能,例如Oracle数据库的impdp/expdp、RMAN、表空间迁移等方式都可以实现数据迁移。利用应用软件自带工具进行数据迁移具有对业务运行影响较大、迁移时间较长的缺点,但也具有可靠成熟、数据安全性高、可以实现跨平台迁移(部分应用)等优点。

数据备份归档软件、分层存储管理软件(HSM)等专业的数据管理软件可以实现数据在不同性能的存储设备之间自动迁移,当然这是依据用户事先制定的策略来执行。备份软件的功能是将某一时间点的生产数据存放在不同的存储位置或存储介质,当生产系统发生故障或灾难时可以利用仍然存在的数据副本对生产数据进行恢复,从而保证了数据安全。分层存储管理软件则依据一定的规则自动的将数据迁移到更高性能或更低成本的存储介质上,从而提高存储系统的总体利用率并降低总体成本。很明显,这些数据迁移是依据策略自动执行的,而并非为了应对硬件或应用系统升级改造。虽然可以利用备份软件的备份和恢复功能来实现数据的跨存储迁移,但这可能是更为复杂的方式。

1.2 系统层

在系统层面可以利用操作系统自带的功能实现数据存储位置的迁移,如基于文件系统的复制、逻辑卷迁移、逻辑卷镜像、磁盘镜像等等。基于文件系统的复制在所有操作系统下都支持,就是大家都非常熟悉的将文件从一个目录拷贝到另一个目录。当然这个目标目录可以在本机或网络上的某个位置,目标目录与源目录位于不同的存储设备就实现了数据的存储迁移。文件复制的方式需要中断业务运行,迁移速度取决于链路及存储性能以及数据量的大小。迁移完成后需要对应用程序进行设置,并可能需要调整新位置的用户权限。基于文件系统复制的迁移方式优点是操作过程较简单,缺点是对业务运行影响较大,迁移速度较慢,而且在一些应用程序直接访问磁盘的模式下也不被支持。在应用程序支持,应用模式简单,迁移时间充足或数据量较小的情况下,文件复制可能是最简单的数据迁移方式。

在某些基于逻辑卷管理的操作系统中(如AIX),支持在后台将存储数据的逻辑卷从一块磁盘迁移到另一块磁盘,如果两块磁盘位于不同的存储则实现了数据的跨存储迁移。这种迁移是在线的、对应用程序透明的迁移,在应用程序单机运行的环境中,迁移过程无需中断应用的运行也无需对应用程序进行任何修改,但在高可用集群等复杂应用模式下,则必须对集群软件、应用程序等一系列相关参数进行调整才能完成数据的迁移。

通过对存储数据的磁盘或逻辑卷创建跨存储的镜像后再拆除镜像也可以实现数据的跨存储迁移。与逻辑卷迁移类似,在单机运行的简单应用部署模式下这种迁移过程仅在操作系统层面执行,对应用程序几乎是透明的,而面对集群等复杂的应用模式,迁移过程也变得复杂。

1.3 存储层

现在基于SAN(存储区域网络)的存储系统已经在大、中型数据中心普及,在存储层面利用SAN网络在存储设备之间直接迁移数据成为更简单有效的海量数据迁移方案,既能保证大量信息迁移的可靠性,又能保证迁移效率。存储层的数据迁移不再依赖于应用服务器,而是直接在SAN网络中的存储设备之间进行,利用SAN网络的高带宽优势,可以大幅度提高数据迁移效率。应用服务器也由此得以从繁重的数据搬迁任务中解脱出来,系统管理人员则专注于诸如策略制订、资源分配、任务调度及管理监控等应用层面的服务。

基于存储层的数据迁移主要有两种方式,即通过高端智能存储系统的迁移工具来迁移数据和通过虚拟化存储来迁移数据。许多高端智能存储系统都具有数据复制、迁移、镜像等功能,例如EMC的SRDF、SANCopy,IBM的Metro Mirror、Global Mirror,HDS的TrueCopy等。下面以IBM XIV存储系统的Data Migration数据迁移工具为例来简要说明将数据从源存储迁移到XIV存储的过程:

1)在SAN交换机上创建XIV存储到源存储设备和生产主机之间的zoning;

2)在XIV上面定义迁移的Target,向Target增加用于数据迁移的端口;

3)定义XIV的端口与数据迁移端口之间的连接,并将XIV定义为Linux主机;

4)停止生产主机上应用程序运行;

5)在原有存储产品上修改mapping,去除需要迁移的LUN到生产主机的映射关系并将其映射到XIV存储;

6)在XIV上定义数据迁移关系,测试并激活数据迁移关系;

7)在XIV上将迁移LUN映射到生产主机;

8)在生产主机上安装XIV的驱动程序并识别XIV的LUN,导入卷组,启动应用;

9)数据迁移完成后,在XIV上面删除数据迁移关系,在SAN交换机上删除XIV与源存储设备的zoning。

我们可以看到,这个迁移过程实际上是修改了存储映射关系,由源存储的生产卷直接映射到主机改为通过XIV存储透明映射到主机,这是迁移的关键,映射关系的更改并没有影响主机对磁盘的识别,应用程序可以立即恢复运行。主机业务的运行在映射关系调整过程中必须中断,但如果准备充分中断时间将会很短。实际的数据复制和同步过程对主机是透明的,对主机业务运行的影响很小,由于是利用SAN网络在存储之间复制数据,所以吞吐量很大,数据迁移效率很高。由于主要工作在存储层面完成,即使应用部署在集群模式的多台主机上,在主机及应用程序上需要执行的操作也很少,整个迁移过程的实施并不复杂。

目前,许多大型数据中心都在构建虚拟化的存储环境,所谓存储虚拟化,简单的讲就是在服务器与存储设备之间插入一个中间层,将存储的物理实体与存储的逻辑表示分离开来,服务器只与分配给它们的存储逻辑卷打交道,而不必关心其数据存放在哪个物理存储上。存储虚拟化解决了异构存储系统在兼容性、扩展性、可靠性、数据迁移等方面的问题。利用虚拟化存储来实现跨存储的数据迁移类似于在操作系统上创建镜像再拆除镜像,只不过这一操作在虚拟存储层完成,与主机无关。与前面各种迁移方法比较基于虚拟存储的数据迁移都更加高效,如果已经构建了虚拟化存储环境,那么数据迁移过程将不需要在主机上执行任何操作,无论应用系统是单机运行还是集群部署。基于虚拟化存储的数据迁移,兼容现有主流存储设备,支持不同厂商不同品牌存储设备间的数据迁移,迁移效率高,对主机透明,适合于频繁移动数据的大型企业,但在执行数据迁移前必须完成对存储系统的虚拟化改造。

2 结束语

与其他存储技术相比,数据迁移属精密度高、复杂度大、专业性强的技术。对系统管理人员来说,数据迁移极具挑战性,一旦措施不当,珍贵的数据资源将面临丢失的危险,要成功地实现数据平滑迁移,需要周密计划和充分准备,并按照详细的步骤来完成。

各种数据迁移方法都有各自的优缺点,适用于不同的数据迁移需求,通常在有在线迁移要求且迁移数据量大的情况下,推荐采用基于存储层的数据迁移方法或逻辑卷镜像方法来实现数据迁移,相对简单、高效。如果系统没有逻辑卷管理软件或没有高端存储设备,可以考虑采用应用程序自身的备份恢复方式来实现迁移,这种方式步骤较复杂,但使用可靠、成熟,在满足迁移窗口要求的情况下,也是一种很好的选择。对于迁移数据量不大的情况,可以考虑采用脱机迁移的方式,这种方式下,如果应用是部署在文件系统上,采用直接拷贝的方式就显得简单、快捷。

在一个大型的存储体系规划建设过程中,会涉及到很多不同的应用,数据特点也各不相同,因此,在整体的数据迁移过程中,往往会用到各种各样数据迁移方法,能够灵活的掌握这些数据迁移方法,才能够安全高效的完成数据迁移任务。

[1]李钟隽.基于XML数据迁移中间件的研究[D].哈尔滨工程大学,2007.

[2]舒清录.基于NET的异构数据源数据迁移技术[J].计算机技术与发展,2010.

猜你喜欢

存储设备存储系统镜像
分布式存储系统在企业档案管理中的应用
镜像
天河超算存储系统在美创佳绩
镜像
浅析铁路视频监控存储设备设计
镜像
高速信号采集及存储系统的信号完整性研究分析
基于电池管理系统的数据存储系统设计
Windows环境下禁用USB存储设备程序设计与实现
防止USB接口泄密