王恩东，梁志诚，张 宇



一种提升自动精简配置效能的方法研究

王恩东，梁志诚，张 宇

(高效能服务器和存储技术国家重点实验室，济南 250510)

当前云存储已经成为IT领域的焦点，并在电信以及流媒体等领域有着广泛需求，自动精简配置是一种先进的存储虚拟化技术，能够提高存储空间的使用效率，简化存储基础架构，满足云储存基础架构设施的需要。针对当前自动精简配置存在效能低下的问题，以流媒体行业为应用背景，设计并实现I_THINP自动精简配置系统。采用模块化、分层的设计思想，将文件系统、通用块设备、iSCSI模块、精简池模块有机结合，整体提升自动精简配置的空间使用效率，并降低空间回收对系统性能的负面影响。实验结果表明，与现有主流自动精简产品相比，I_THINP自动精简配置系统的空间回收效率在97%以上、每秒处理的I/O请求数量下降16.53%、I/O平均响应时间下降22.82%，证明I_THINP自动精简配置系统在效能方面达到业界先进水平。

自动精简配置；因特网小型计算机系统接口；通用块设备模块；块级输入输出；文件系统

1 概述

在流媒体企业中，传统的存储购买方式根据人为预期与规划预先购买冗余的存储空间，以满足未来3年~5年对存储空间的需求。ESG报告中指出[1]，采用传统分配模式，在各种不同应用场景下，存储资源平均实际使用率不足30%；如何提高现有存储空间的利用率，是当前流媒体企业IT成本控制的当务之急。采用自动精简配置[2]技术可以解决该问题，通过自动精简配置可以满足未来对于存储容量的需求，后续企业可以根据业务需求再购买实际物理存储设备，对存储系统进行在线存储容量扩容。

目前国内对于自动精简配置技术的研究尚处于理论研究状态[3]，并没有提出一种能够提高自动精简配置效能的架构设计以及实现。

目前国外的大型存储厂商已具备自动精简配置技术，并应用到自身的存储产品中，但这些自动精简配置产品在具备自身优势的同时，也存在一些问题。例如：HP 3PAR的自动精简产品需要采用其特有的ASIC辅助芯片协助完成自动精简配置的功能；EMC的产品需要借助第三方的全零页探测软件完成空间回收的操作，并且空间回收操作对系统性能负面影响比较大，对于不具备空间回收功能的产品，由于部分用户占用了大量的存储空间，但并未实际存储数据，导致存储系统的空间闲置浪费、而不能被其他用户使用，导致存储空间利用率低[3]。不同的空间回收算法具有不同的空间回收效率，因此也存在不同程度存储空间利用率较低的问题[3-5]、并且空间回收对系统性能也产生了一定的负面影响[6-7]。

如何最大限度地提高现有存储容量的利用率、并降低空间回收对存储系统性能的负面影响，这是提升自动精简配置效能的关键。由于流媒体数据[6]具有数据文件大小在MB级别至GB级别、存储的数据量不断逐步增加、多客户端对存储池数据进行并行操作(读、写、删除)等特点，因此本文以流媒体行业为应用背景，设计并开发一套I_THINP自动精简配置系统，该系统采用模块化、层次化架构，多模块协同提升存储系统空间利用率，并同时降低空间回收对系统性能的影响，借此提升自动精简配置整体效能。

2 自动精简配置效能提升设计

2.1 整体架构设计

本文设计的I_THINP自动精配置系统，不需要特殊的硬件支持(ASIC芯片)，采用模块化、层次化架构，全新空间回收机制以及算法设计，实现自动精简配置功能。I_THINP具备以下特点：(1)存储空间写时分配，高效的自动精简配置空间回收效率；(2)单位存储单元大小可定制；(3)异构平台的支持；(4)不依赖第三方软件。

图1描述了I_THINP自动精简配置系统整体架构，自动精简配置系统由客户端和存储器组成；客户端包括文件系统、通用块设备模块、iSCSI(Internet Small Computer System Interface)客户端；存储器端包括iSCSI服务端、通用块设备模块、精简存储池、逻辑存储池。

图1 自动精简配置系统整体架构

自动精简配置系统架构具体描述如下：

(1)文件系统：负责为用户建立文件，存入、读出、修改、转储文件，控制文件的存取，当用户不再使用时删除文件、通知精简池进行空间回收等。

(2)通用块设备模块：对I/O(Input/Output)请求进行切割、合并、转发，对I/O请求进行调度。

(3)iSCSI实例(iSCSI客户端及服务端)：在IP(Internet Protocol)协议的上层运行SCSI指令集，实现I/O请求在网络上进行转发、传输。

(4)精简存储池：自动精简配置的核心模块，精简池管理底层通用逻辑卷组，将卷组按照以最小64 KB单元进行切割，切割后的最小存储单元采用树形结构进行组织管理，对读、写、空间回收请求分别进行处理。

(5)逻辑存储池：逻辑存储池对物理磁盘进行组织管理，逻辑存储池在整体架构中作为辅助模块，只提供存储空间给精简存储池使用。

自动精简配置效能提升点在于：提高精简池存储单元的最大重复利用率，即降低存储池已经分配、但未实际使用的存储空间；降低空间回收对系统性能的影响。为了最大程度重复利用存储单元，需要提高精简池的空间回收效率，对于不再使用的精简池存储单元加快空间回收，就能提升整个存储系统的效能。效能的提升需要通过如下模块的协同来实现：客户端文件系统，通用块设备模块，iSCSI实例，服务端精简池。下面详细说明每个模块在提升空间回收效率方面的设计与实现。

2.2 文件系统

客户端文件系统是触发服务端精简池空间回收的源头，文件系统何时发送空间回收请求、空间回收请求(Block Input Output, BIO)涉及的数据量以及空间回收请求的频率，直接影响精简池空间回收的效率以及精简池对读、写请求处理的效率。文件系统发送空间回收请求的具体处理流程如下：

(1)在文件系统中增加自动精简空间回收任务；该任务负责暂时收集并存储需要回收的文件系统块信息，通知精简池进行空间回收。

(2)当用户执行删除文件操作时，文件系统通过执行自动精简空间回收任务提供的回调函数，触发空间回收任务开始收集所要删除文件占用的文件系统块，空间回收收集任务将这些文件系统块信息保存到自身的缓冲链表中。文件系统在向缓冲链表中添加节点时，按照文件系统块组为单位粒度进行添加，不以文件系统块为单位粒度添加，当文件系统回收的空间跨越多个块组时，按照块组进行分割，这种大粒度I/O发送请求可提高精简池空间回收算法效率；原因在于文件系统发送大粒度空间回收请求，空间回收请求I/O满足精简池的空间回收条件的概率增大，因此精简池的空间回收效率会相应提高。

(3)自动精简配置空间回收任务将需要回收的文件系统块缓存在链表中，文件系统层向精简池批量发送空间回收请求；当空间回收任务未运转时，文件系统可以继续向此缓冲链表中添加回收节点；当操作系统内核调度空间回收任务运行时，任务开始循环遍历回收缓冲链表，当从缓冲链表中摘除一个节点后，调用客户端通用块层提供的回调函数，进行空间回收请求的下发。

文件系统发送空间回收请求的流程如图2所示。

图2 文件系统发送空间回收请求的流程

2.3 通用块设备模块

客户端通用块设备模块在接收到来自文件系统的空间回收请求时，将请求进行转发至iSCSI层，由于通用块模块具备请求切割的能力，会根据块设备信息将大粒度I/O请求切割成若干子I/O请求，之后将请求再进行转发到下一模块，这种方式会降低精简池空间回收效率，并且会增加整个存储网络中的I/O压力。因此在通用块设备模块层，不对空间回收请求进行切割，当收到来自文件系统层的空间回收请求时，直接转发给iSCSI模块。该方式增加了精简池收到大粒度I/O请求的概率，可以提高精简池的空间回收算法效率，并且有利于减少网络阻塞[8]。

2.4 iSCSI模块

I_THINP自动精简配置系统通过iSCSI[8]协议实现对异构平台的支持，当前已支持的客户端系统包括LINUX、WINDOWS。

iSCSI模块作为I/O请求的网络通道，其具备对I/O请求进行切割及转发的能力，前面已经分析过小粒度的I/O空间回收请求会影响到精简池的空间回收效率。在自动精简配置中，使用iSCSI协议中的UNMAP指令，对空间回收请求进行网络传输。通过优化iSCSI客户端与服务端协商UNMAP的I/O粒度后，空间回收请求最大I/O粒度可以达到GB级别，从而提升自动精简配置空间回收效率。

2.5 精简存储池

精简存储池作为自动精简配置中的核心模块，为增强整体软件架构的可维护性，简化软件的复杂度，降低空间回收对存储系统读、写性能方面的负面影响，设计精简池空间回收的原则为：空间回收请求I/O粒度必须是精简池最小存储单元大小，并且I/O请求的起始地址与精简池存储单元的起始地址对齐。提升精简池效能的方法具体如下：

(1)提供可变精简池最小存储单元：精简池中的最小存储单元粒度从KB到GB，这种在存储粒度上的控制，可满足不同的应用场景，提高海量存储数据下的应变能力。对于GB级别的视频数据讲，按照MB级别的精简池存储单元比较适合，大粒度的精简池存储单元可以减少精简池维护元数据的压力。对于邮件数据来说，KB级别的精简池存储单元比较适合，可最大限度地利用存储空间、减少空间的浪费，并且有利于空间的回收。

(2)单独精简池空间回收队列(延迟链表)：整个精简池模块的空间回收主要涉及2个队列，一个为精简池任务队列(处理延迟链表)，此队列接收所有发往精简池的I/O请求；另外一个是单独处理空间回收的队列(准备丢弃链表)；精简池任务运行时将精简池任务队列中的空间回收请求转移至空间回收队列中，在回收队列中对所有空间回收请求进行集中批量处理，这种处理方式可以提高大I/O压力下的精简池处理请求能力。

(3)空间回收算法：空间回收算法以空间回收的原则作为机制。当精简池处理空间回收请求时，对大I/O粒度的请求进行切割，将I/O请求切割成首地址与精简池存储单元起始地址对齐，按照精简池存储单元大小为刻度进行切割；对于满足空间回收条件的存储单元信息，将其从池组织元数据树形数据结构(btree)中删除，添加到精简池的精简分配控制器中；对于不能回收的部分存储单元，可以继续被原有的客户端文件系统使用，在重复使用过程中，最终满足精简池空间回收原则，被精简池回收；已经回收的精简池最小存储单元信息保存在精简分配控制器中，至此回收的精简池存储单元可以被其他客户端文件系统重新使用。

(4)精简池空间回收流程：如图3所示，精简池空间回收流程分为3个主要步骤：

1)判断该BIO是否为空间回收请求：①如果是，则将该BIO添加至延迟链表，等待后续处理；②如果不是，则继续进行其他后续BIO的处理。

2)处理准备丢弃链表中的BIO，查看准备丢弃链表中是否有待处理的BIO：①如果有，首先从准备丢弃链表依次取出空间回收请求，由空间回收算法对BIO进行处理，将BIO对应的Block(精简池块级存储单元)信息从池组织元数据树形数据结构(btree)中删除，将Block信息添加到精简池精简分配控制器中；②如果没有，则进入处理延迟链表的BIO的流程。

3)处理延迟链表的BIO，首先从延迟链表中依次取出BIO，在精简池组织树形数据结构保存的元数据信息中查询是否有该BIO对应的精简池最小存储单元：①成功查询，表明该BIO之前完成写请求映射，则将该BIO添加至准备丢弃链表；②失败查询(无数据)，对于空间回收请求，则不需要特别处理，直接向上层模块报告该BIO处理结束。

图3 精简池空间回收流程

3 测试及结果分析

3.1 实验背景

实验背景具体如下：

(1)软硬件环境

客户端：Intel(R) Xeon(R) CPU E5520、12 GB内存， 100 MB双工网卡，Ext3-Fs，iSCSI Initiator、Linux操作系统；服务端：浪潮AS500G，I_THINP自动精简配置。

(2)实验术语描述

文件系统下发最大粒度：文件系统向底层模块发送空间回收请求涉及的数据量；通用块切割粒度：通用块对大粒度I/O请求，按照设定值切割成小数据量I/O请求；删除文件数据量：客户端文件系统删除文件的大小；精简池对齐操作：精简池按照回收规则，对I/O请求进行切割处理；精简池回收效率：已回收精简池存储单元数目与所要删除文件占用的精简池存储单元数目的比值。

下面通过实验数据，分别从文件系统、通用块设备模块、iSCSI协议实例等方面说明对I_THINP自精简空间回收效率的影响；将本文设计的I_THINP自动精简配置系统与业界主流厂商自动精简配置系统进行效能对比。

3.2 文件系统下发空间回收粒度对精简池回收效率的影响

文件系统下发空间回收粒度对精简池回收效率的影响具体如下：

(1)通用块设备模块的空间回收请求I/O切割、转发粒度调整为1 GB；iSCSI协议切割、转发空间回收I/O粒度调整为1 GB；精简池空间回收规则调整为按照设计的规则进行空间回收，精简池最小存储单元大小为64 KB。

(2)将文件系统下发空间回收请求的粒度调整为4 KB，客户端文件系统拷贝5个512 MB的视频数据文件，删除全部视频数据文件，统计精简池的空间回收效率。

(3)重复执行步骤(2)，将文件系统下发空间回收请求的粒度依次调整为8 MB、16 MB、32 MB、128 MB。

(4)实验数据分析如图4所示，文件系统发送空间回收请求的I/O粒度为4 KB，精简池的空间回收效率为0；文件系统发送空间回收请求的I/O粒度为8 MB，精简池的空间回收效率为40%；文件系统发送空间回收请求的I/O粒度为16 MB，精简池的空间回收效率为59%；文件系统发送空间回收请求的I/O粒度为32 MB，精简池的空间回收效率为79%；文件系统发送空间回收请求的I/O粒度为 128 MB，精简池的空间回收效率为97%。通过上述实验数据可知，文件系统发送一次空间回收请求的数据量越大，空间回收请求I/O满足精简池空间回收条件的概率越大，精简池空间回收效率越高，否则越低；本文实验有效验证了2.2节文件系统设计的正确性以及算法的高效性。

图4 文件系统空间回收I/O粒度与精简池回收效率的关系

3.3 客户端通用块切割I/O粒度对精简池回收效率的影响

客户端通用块切割I/O粒度对精简池回收效率的影响具体如下：

(1)文件系统下发空间回收请求的粒度调整为256 MB；iSCSI协议切割、转发空间回收I/O粒度调整为1 GB；精简池空间回收规则调整为按照设计的规则进行空间回收，精简池最小存储单元大小为64 KB。

(2)将通用块设备模块的空间回收请求I/O切割、转发粒度调整为4 KB，客户端文件系统拷贝5个512 MB的视频数据文件，删除全部视频数据文件，统计精简池的空间回收效率。

(3)重复执行步骤(2)，将通用块设备模块的空间回收请求I/O切割、转发粒度依次调整为8 MB、16 MB、32 MB、128 MB、1 GB。

(4)实验数据分析如图5所示，通用块设备模块的空间回收请求I/O切割、转发粒度为4 KB，精简池的空间回收效率为0；当通用块设备模块的空间回收请求I/O切割、转发粒度为1 GB时，精简池的空间回收效率上升为97%。通过上述实验数据可知：通用块设备模块空间回收请求I/O切割、转发粒度越大，空间回收请求I/O满足精简池空间回收条件的概率越大，精简池的空间回收效率也越高；否则越低；本文实验有效验证了2.3节通用块设备模块设计的正确性以及算法的高效性。

图5 客户端通用块I/O切割粒度与精简池回收效率的关系

3.4 iSCSI切割I/O粒度对精简池回收效率的影响

iSCSI切割I/O粒度对精简池回收效率的影响具体如下：

(1)文件系统下发空间回收请求的粒度调整为256 MB；通用块设备模块的空间回收请求I/O切割、转发粒度调整为1 GB；精简池空间回收规则调整为按照设计的规则进行空间回收，精简池最小存储单元大小为64 KB。

(2)将iSCSI模块的空间回收请求I/O切割、转发粒度调整为4 KB，客户端文件系统拷贝5个512 MB的视频数据文件，删除全部视频数据文件，统计精简池的空间回收效率。

(3)重复执行步骤(2)，将iSCSI模块的空间回收请求I/O切割、转发粒度依次调整为64 KB、32 MB、128 MB、1 GB。

(4)实验数据分析如图6所示，iSCSI模块的空间回收请求I/O切割、转发粒度为4 KB，精简池的空间回收效率为0；iSCSI模块的空间回收请求I/O切割、转发粒度为64 KB，精简池的空间回收效率为42%；当iSCSI模块的空间回收请求I/O切割、转发粒度为1 GB时，精简池的空间回收效率上升为97%。由此实验数据可知：iSCSI模块的空间回收请求I/O切割、转发粒度越大，空间回收请求I/O满足精简池空间回收条件的概率越大，精简池的空间回收效率也越高，否则越低；有效验证了2.4节iSCSI模块设计上的正确性以及算法的高效性。

图6 iSCSI切割I/O粒度与精简池回收效率的关系

3.5 精简回收对系统性能的影响

精简回收对系统性能影响的测试如下：

(1)创建200 GB精简卷，挂载文件系统，利用IOMETER (V2006.07.27)测试精简卷的每秒处理的I/O请求数量(Input/ Output Operations per Second, IOPS)和I/O平均响应时间的性能。

(2)创建200 GB精简卷，挂载文件系统，在精简卷中预置一个100 GB的视频文件，在删除该100 GB文件的同时，利用IOMETER(V2006.07.27)测试精简卷的IOPS和I/O平均响应时间的性能。经过测试得出本文设计的I_THINP自动精简配置回收对系统性能的影响为：IOPS下降16.53%，I/O平均响应时间下降22.82%；图7对比了I_THINP自动精简配置空间回收与其他厂商[9]自动精简配置系统的空间回收对系统性能的影响。

图7 主流厂商自动精简配置空间回收对系统性能的影响

从图7可看出，I_THINP自动精简配置系统，精简回收功能对系统性能的影响仅次于HP 3PAR；EMC VMAX、Dell Compellent自动精简配置系统对系统性能的负面影响最大。EMC VMAX、Dell Compellent自动精简配置系统空间回收采用第三方的全零页回收技术，全零页回收技术[10]会在空间回收前向系统引入一次额外的写零操作，用来标识需要回收的区域，为全零页探测做准备，会对系统性能产生极大的负面影响，并且全零页回收探测需要定时或者在一定时机触发，搜集全零页后，才能触发全零页的回收操作，所以全零页回收技术时效性不强，会造成回收效率不稳定；由于HP 3PAR在采用全零页回收的基础上，使用ASIC硬件芯片辅助完成回收功能，其空间回收对系统性能的负面影响最小。实验数据对比表明：本文设计的I_THINP自动精简配置系统空间回收对系统性能产生的负面影响相对较小，综合性能达到业界先进自动精简配置产品的水平。

3.6 自动精简配置整体空间回收效率对比

根据前面的实验数据可知：本文设计的I_THINP自动精简配置空间回收效率在97%以上；图8对比了不同厂商自动精简配置系统的空间回收效率。

图8 整体空间回收效率对比

从图8可看出，通用自动精简配置系统(Thin Environ- ment)[3-4]的空间回收率在82%左右；I_THINP自动精简配置系统与Dell Compellent[11]空间回收效率均在96%左右，但Dell Compellent自动精简配置，如在3.5节分析其空间回收存在时效性不强、回收效率不稳定等问题；NetApp[12]自动精简配置系统采用弹性卷技术来实现空间的回收，空间回收效率为100%。数据对比表明：本文设计的I_THINP自动精简配置系统空间回收效率接近100%，已达到业界先进水平。

4 结束语

本文设计的I_THINP自动精简配置系统，采用模块化、分层的设计思想，将文件系统、通用块设备、iSCSI模块、精简池模块有机地结合在一起，整体提升了自动精简配置的空间使用效率、以及降低了空间回收对系统性能的负面影响，在整体效能方面已经达到业界先进水平。I_THINP自动精简配置系统在架构上具备可扩展性；当前精简池空间回收完全采用软件的方式来实现，对于性能有严格要求的特殊场景来讲，可以将此部分的功能由硬件芯片来实现，能够进一步提升空间回收效率、降低空间回收对系统性能的负面影响。I_THINP自动精简配置系统已经在存储系统产品中应用，可为企业提供更优质的服务，并降低企业IT成本投入。

[1] 周家术, 彭雅芳. UIT SV5000G2: 易用、优化、绿色、高可用的中端存储产品[EB/OL]. (2011-04-15). http://www.sino- bridges.com/en/report/129-uit-sv5000g2.

[2] 邱红飞. 存储的自动精简配置技术应用研究[J]. 电信科学, 2010, 26(11): 12-17.

[3] Qian Kai, Yi Letian, Shu Jiwu. ThinStore: Out-of-band Vir- tualization with Thin Provisioning[C]//Proc. of the 6th International Conference on Networking, Architecture, and Storage. Dalian, China: [s. n.], 2011: 1-10.

[4] NETAPP. b-maximize_storage_efficiency_netapp[EB/OL]. (2010-11-04). http://eval.symantec.com/mktginfo/enterprise/white_ papers/b-maximize_storage_efficiency_netapp_WP.en-us.pdf.

[5] Hitachi Data Systems and Symantec Corporation. Optimize Thin Storage Utilization with Hitachi Dynamic Provisioning and Veritas Storage Foundation by Symantec[EB/OL]. (2010-07- 11). http://www.hds.com/assets/pdf/case-study-hitachi-Optimize- thin-storage-utilization.pdf.

[6] 符青云. 面向大规模流媒体服务的高性能存储系统研究[D]. 成都: 电子科技大学, 2009.

[7] 韩朴杰, 康慕宁, 张 晓. 自动精简配置技术中空间回收方法的研究[J]. 计算机与现代化, 2012, (12): 168-173.

[8] 刘朝斌. 虚拟网络存储系统关键技术研究及其性能评价[D]. 武汉: 华中科技大学, 2004.

[9] Edison Group. HP Thin Technologies——A Competitive Comparison[EB/OL]. (2010-08-11). http://h20195.www2.hp. com/v2/GetPDF.aspx/4AA4-4079ENW.pdf.

[10] 赛门铁克扩展自动精简配置超越零页面回收[EB/OL]. (2010-04-16). http://stor.zol.com.cn/174/1742038.html.

[11] DELL. Thin-provisioning[EB/OL]. (2011-10-15). http://www. compellent.com/Community/Blog/thin-provisioning.aspx.

[12]Reduce Storage Costs by Reclaiming Disk Space[EB/OL]. (2007-03-15). http://partners.netapp.com/go/techontap/matl/ space_ reclamation.html.

编辑 陆燕菲

Research on a Method for Improving Potency of Thin Provisioning

WANG En-dong, LIANG Zhi-cheng, ZHANG Yu

(State Key Laboratory of High-end Server & Storage Technology, Jinan 250510, China)

Currently, cloud storage becomes the focus of the IT field, and there is a wide range of needs in the field of telecommuni- cations and streaming media. Thin provisioning is an advanced storage virtualization technology which can improve storage space utilization, and simplify storage infrastructure, so thin provisioning can meet the needs of cloud storage infrastructure facilities. Aiming at the problem that thin provisioning has low efficacy currently, this paper designs and implements a I_THINP thin provisioning system. It is based on the background of the streaming media industry, and it uses modular, hierarchical design idea. It improves space useage efficient of thin provisioning and reduces the negative effect of space reclamation for system performance by combination of file system, general block device, iSCSI module and streamline pool module. Experimental result shows that I_THINP thin provisioning system space reclamation percentage is more than 97%, Input/Output Operations per Second(IOPS) is decreased by 16.53%, I/O average response time is decreased by 22.82%, compared with other thin provisioning products, and proves that I_THINP thin provisioning system achieves the advanced level in the industry in terms of performance.

thin provisioning; Internet small computer system interface; generic block device module; block-level input/output; file system

1000-3428(2014)03-0082-06

A

TP319

国家“973”计划基金资助项目(2012CB724101)。

王恩东(1966－)，男，研究员，主研方向：计算机体系结构，通信电子系统；梁志诚，工程师；张 宇，硕士。

2013-02-06

2013-04-22 E-mail：liangzhch@inspur.com

10.3969/j.issn.1000-3428.2014.03.017