习 奇，叶光明（、武汉邮电科学研究院，430074；、武汉烽火众智数字技术有限责任公司，430074）

基于视频业务的RAID 5重建方式的优化设计

习 奇1，叶光明2
（1、武汉邮电科学研究院，430074；2、武汉烽火众智数字技术有限责任公司，430074）

本文结合通用的视频监控业务监控时间长、不间断、读取的录像相对少、随机性大的特点，在LINUX 软RAID MD 模块的基础上，提出了一种优化视频业务在线重建效率的方法：在RAID5重建时将热点视频读数据和视频写数据顺序的迁移到代理存储服务器上，待RAID 5 重建结束时，将视频写数据迁移到RAID 5中，使RAID 5 恢复正常。实验结果表明，该方法大大提高了视频业务在线重建效率也提高了数据的安全性。在视频监控行业特别是在单个RAID 5视频监控路数少于24路的情况有广阔的运用前景，对于多路数视频监控也有一定的参考价值。

视频监控；软RAID 5；数据在线重建；可靠性

0 引言

随着国家对安防监控行业的重视，安防监控行业朝着数字化、大容量、智能化、一体化等方向快速发展。视频监控行业存储的数据量成倍的增长，对存储的可靠性、容错性要求也越来越高，如公安、金融等视频监控等重要领域对重要数据的灾难性性丢失是零容忍的。RAID 5通过冗余校验算法可以使系统盘在一块盘故障的情况下仍能正常工作，一定程度上提高了系统的容错性。但RAID5在重建过程中如果再次发生某个成员磁盘故障，整个RAID 5的数据将会丢失，并且重建时间越长，数据丢失的概率将越大。而视频监控业务一般是不间断的，所以大部分数据重建都是发生在业务不中断的情况下，这样存储系统的压力就更大，使得重建的时间大大的变长，加大了数据丢失的可能性。因此，可靠的增加RAID 5的在线重建效率是视频存储领域中急待解决的一个重要课题。

1 传统的重建过程及缺陷介绍

1.1传统RAID5重建过程

RAID5 数据重建也称数据恢复是指RAID5 中的成员盘故障后，MD模块会将故障的硬盘从 RAID5 中踢掉，用热备盘顶替故障盘的过程。RAID5 从头到尾以条带为基本的颗粒按奇偶校验的方式进行数据重建直到将故障盘的有效数据全部恢复到热备盘中。在 RAID 5中系统对重建速度进行了限定，重建带宽的上下阈值一般默认为 200MB/s 和 1MB/s，可根据实际情况调节以保证优先响应用户业务请求，同时设置了一个的 128K 的默认重建窗口。当重建速率低于阈值1MB/s时，则进行下一个窗口的重建；如果当前重建速率高于200MB/s或者有正常的 I/O 请求在等待时，则需要休眠500 毫秒给业务 I/O 让带宽。

1.2 传统在线重建的缺陷

由于RAID5是通过异或运算来恢复故障盘上的数据，所以对故障盘的一次读请求，会导致对RAID 5中其他正常磁盘也产生读请求；故障盘上的一次写操作也需要读出RAID 5中其他盘上的数据。另一方面，在视频监控行业中，除了正常的视频存储和录像回放业务外，当有一块故障盘时RAID 5内部会有重建请求业务，这样重建过程中视频读写I/O 请求和内部重建请求会竞争有限的磁盘带宽。而且这两种I/O 请求导致磁头在重建位置和用户负载区域频繁切换磁道，进而使读写性能降低。基于这两个原因，可以从两方面来加快重建速度，一方面是提高最低重建带宽，另一方面是减轻用户负载。提高最低重建带宽会导致用户请求的响应时间延长，将导致视频回放的卡顿和延迟；而减轻用户负载可以将负载迁移到空闲的设备上，使RAID 5 减轻了带宽的压力和频繁的磁盘寻道时间，同时可以使可用性和可靠性达到最佳的均衡效果。

2 RAID 5 重建优化的设计

2.1RAID 5 重建方式优化的难点和关键策略

2.1.1RAID 5 重建方式优化的难点

维护数据一致性的难点主要体现在RAID 5的迁移和数据回迁过程中如何保证元数据正确可靠性；另一方面体现在RAID5对I/O 的并发操作。本文主要利用Linux 内核拥自旋锁、读写锁、原子操作、以及进程的休眠等待等技术来处理数据的一致性问题。

2.1.2 索引维护机制：重定向请求存储录像索引信息表和热点录像回放索引信息表中分别记录着重定向数据和热点读数据的索引信息。这些索引信息在RAID 5重定向和数据恢复阶段时都需要频繁地被访问。利用基树维护索引信息可以提高重定向和回迁阶段元数据的查找效率；本文使用链表将写重定向索引信息维护起来，同时保证链表的有序性，在数据恢复的时候合并链表中相邻的物理地址，减少了遍历整棵重定向基树的元数据进行回收操作时增加的不必要开销，减少发送到重建完成RAID 5 的 bio 数量，提高回迁的效率。

图2　.1 RAID 5 重建优化整体框图

2.1.3数据恢复机制：用一个双向链表将叶子节点中表示写重定向请求的元数据链接起来，保证链表的有序性，解决了有序遍历重定向请求时，叶子节点中有很多是不需要恢复的热读重定向请求数据，解决了基树完整遍历导致的很多开销的问题，这大大优化回收开销的效率。

2.2RAID 5 重建优化的框架设计

本文对RAID 5 重建的优化主要是在Linux RAID 抽象层添加了用户模块、识别热数据模块、代理模块、数据重定向模块以及数据回收模块，在块设备层添加了代理存储设备，通过这些模块来转移RAID 5 在线重建的压力，保证数据的可靠性。其结构框图如图2.1所示。下面是具体的功能介绍；

1）用户模块：用于对指定代理存储设备、代理空间进行参数配置；

2）代理模块：主要控制在代理存储设备上被迁移的热点数据的数据布局方式；

3）识别热点数据模块：维护识别热读数据请求的日志表信息；

4）数据重定向模块：根据重定向日志和热点数据日志信息，决定数据要读写的具体设备和位置。

5）数据恢复模块：数据重定向完成后，数据恢复模块根据视频索引的日志信息将重定向的写数据从代理设备中读出并回写到重建完成的RAID 5中。

图3　-2 写线程工作流程

3 重建过程中的视频写数据恢复的设计

本文用多线程来优化视频数据的恢复效率，录像回放线程从代理存储设备上读出数据，并保存在共享缓冲池中，用双链表链接起来。录像存储的线程不断地从共享缓冲池中取出数据写到重建完成的RAID 5中，共享缓冲池需要用自旋锁来保证互斥访问。同时将数据恢复的优先级设置为低于视频存储和录像回放业务I/O 的处理的优先级，提高数据恢复中系统的稳定性和可靠性，具体的写线程工作流程如图3-2所示。

4 性能测试

4.1测试环境

本文按实际运行条件搭建了一套网络视频监控系统进行测试工作。如图4-1所示为测试系统的组成结构图。图中NRU服务器是用于录像存储的模块，模拟PU服务器是用于模拟实时视频流的，存储子系统是基于优化后的软RAID存储子系统，SATA 硬盘放在存储子系统中，可以通过CU 进行RAID 5 的创建和删除等操作。

图4　-1 测试系统的组成结构图

4.2测试方法和结果

通过web界面控制实时视频回放并结合Iometer工具（V2006.07.27）进行测试。在代码中记录下重建开始的时间和重建结束时间，两者相减就是重建的时间。为了避免重建时间过长，通过fdisk命令对在单个 SATA 磁盘上建立 5G 的分区，分别创建4块盘的RAID5和8块盘的RAID 5，条带为64K，进行测试。实验中通过三种不同比例的视频读写业务进行实验：第一种负载的写比例约占75%，第二次写的比例约50%，第三种全部是读请求。

表4.1　不同比例读写业务下优化前后的重建时间（时间单位：秒）

5 总结

在不同的视频存储和录像回放业务比例下对比测试了优化前后RAID 5的重建性能。测试结果表明：当写的业务占75%时，优化后的在线重建时间缩短了40%左右，当视频录像业务占50%时也能缩短30%以上的在线重建时间，当都是视频回放业务的情况下，重建优化效果不明显，但是视频监控行业中，一般情况下是视频存储的业务多于视频回放的业务，所以本文对RAID 5重建的优化比较适合视频监控行业，也适用于写请求大于读请求的应用场景。

［1］罗丽丽.视频存储优化技术研究与应用：［硕士学位论文］［D］.长沙：国防科学技术大学，2009.

［2］刘军平.磁盘存储系统可靠性技术研究：［博士学位论文］［D］.武汉：华中科技大学，2011.

［3］ 毛波.一种提高磁盘阵列重建效率的缓存替换算法.华中科技大学学报（自然科学版），2011，39（6）： 54~57

习奇（1988一 ） 男，湖北天门人，武汉邮电科学研究院硕士研究生，研究方向：网络存储；

叶光明，男，烽火科技高级工程师，硕士研究生导师，研究方向：软件工程，网络软件，存储网络等。

Optimal Design of Reconstruction of RAID 5 Based on Video Services

Xi Qi1，Ye Guangming2
（1.Wuhan Research Institute of Posts and Telecommunications；2.Wuhan FiberhomeDigital Technology Co.， Ltd.）

In this paper，commoned on characteristics in video surveillance，such as surveillance for a long time，uninterrupted，relatively few video read，randomness.Then based on LINUX software RAID MD module，proposed an efficient video services online reconstruction methods：the hot video read data and write data to rebuild the video sequence in RAID5 storage migration to the proxy server，RAID 5 rebuild until the end of the migration of video to write data to RAID 5.Theexperimental results show that the method improves the efficiency of the reconstruction online video services，which also improves the security of the data. In particular，the video surveillance industry has broad prospects for the use of video surveillance in a single RAID 5 ones less than 24 road cases，multiple ones for video surveillance also has some significance.

Video Surveillance；Software RAID 5；Data Rebuild Online；Reliability

2014—07—09