谢 征，崔少辉，李金伦

(军械工程学院 导弹工程系，河北 石家庄 050003)



基于特征匹配的快速鲁棒数字稳像

谢 征，崔少辉，李金伦

(军械工程学院 导弹工程系，河北 石家庄 050003)

针对手持移动摄像装置拍摄视频序列相邻帧间存在平移、小角度旋转运动，而且易受噪声、光照变化的影响等问题，提出一种基于优化Oriented FAST and rotated BRIEF(ORB)特征匹配的实时鲁棒电子稳像算法。对相邻帧预处理后用Oriented FAST算子检测特征点，再用Rotated BRIEF描述提取的特征点并采用近邻汉明距离匹配特征点对，然后采用级联滤波去除误匹配点对，最后使用迭代最小二乘法(ILSM)拟合模型参量进行运动补偿实现稳像。图像匹配测试和稳像实验结果表明：基于改进的ORB算法的电子稳像方法补偿每一帧的时间均小于0.1 s，定位精度可达亚像素级，能有效补偿帧间平移旋转运动，而且对噪声和光照变化有较强鲁棒性。经稳像处理后，实拍视频质量明显提高，峰值信噪比(PSNR)平均提高了10 db。

数字稳像；ORB特征匹配；运动估计；级联滤波；迭代最小二乘法

引言

手持移动成像设备，如手机、平板电脑等在获取视频的过程中，受人为因素影响，不可避免地存在抖动现象，导致输出视频图像存在晃动、模糊现象，降低了视频质量，不易于观察识别，影响观察者心情，甚至带来误判，不利于后续视频处理。而且手持成像设备存储量低，计算能力有限，对速度要求较高，因此研究实时鲁棒的数字稳像技术具有极大的应用价值。

数字稳像技术[1]是基于硬件设备或者计算机，运用数字图像处理技术计算视频相邻帧间变换关系，并通过运动补偿输出清晰平稳的视频序列的技术。目前应用较多的数字稳像算法如块匹配法[2]、灰度投影法[3]、位平面匹配法[4]和相位相关法[5]，主要用于估计平移运动，对旋转运动效果不佳；而基于特征匹配的电子稳像算法，如Harris角点[6]、尺度不变特征(SIFT)[7]、加速鲁棒特征(SURF)[8]等，均能有效估计平移和旋转运动，而且具有较强的鲁棒性，但是算法复杂，运算量大，难以应用到手机、平板电脑等对实时性要求很高的手持移动成像设备上。

二进制ORB特征[9]是在FAST[10]角点和BRIEF[11]描述子基础上发展而来的，不仅计算代价小、内存要求低，性能十分优秀，而且对平移、旋转具有不变性。ORB相比于SURF算法快一个数量级，因而适于许多实时图像匹配场合。例如，文献[12]将ORB特征用于仿射不变图像匹配，速度比ASIFT提高了6倍，文献[13]利用ORB特征对航拍图像进行快速拼接，能有效抵抗复杂噪声干扰。

本文将ORB特征应用于数字稳像领域，首先对相邻帧图像提取ORB特征点进行匹配，然后依据匹配的特征点对建立平移旋转矩阵，计算平移分量和抖动分量，从而进行补偿，实现稳像。

1 采用优化ORB特征匹配数字稳像原理

本文算法原理框图如图1所示。首先对输入原始抖动视频序列依次进行预处理并检测ORB特征点，然后在相邻帧间匹配特征点对并采用级联滤波提高匹配精度，再采用迭代最小二乘法(ISLA)进行参数估计，获取补偿参数，实现稳像，输出稳定的视频序列。其中，ORB特征提取与匹配是运动估计的关键技术，决定了数字稳像的精度与速度。

图1 优化ORB特征匹配数字稳像系统原理图Fig.1 Schematic diagram of optimized ORB feature matching digital image system

2 ORB算法原理

ORB算法是建立在FAST算法和BRIEF描述子基础上的，在保留了这两种算法的优点的同时，还分别对其进行改进以克服其缺点。FAST检测子的速度非常快，但它没有旋转不变性，对图像旋转比较敏感，而ORB算法采用灰度矩心将FAST改进为具有方向的Oriented FAST检测子。下面简要介绍其思想。

图像某角点区域的灰度矩定义为

(1)

式中：I(x,y)为点(x,y)处的灰度值；p、q决定了灰度矩的阶数。

于是该点灰度矩心可表示为

(2)

以角点O为中心，质心C为终点构造向量，此向量的方向即为此处角点的主方向θ：

θ=arctan(M01,M10)

(3)

这样，就将FAST改进成了有方向的OrientedFAST检测子，然后将OrientedFAST检测子所提取的角点主方向应用于BRIEF描述子，将其改进为旋转不变的RotatedBRIEF描述子。BRIEF二进制描述子是在经过平滑滤波后的角点的邻域上，随机选取若干点对进行二进制测试(binarytest)，并将binarytest值组合成一个二进制串，作为该角点的BRIEF描述子。binarytest定义为

(4)

式中：p(x)是图像平滑滤波后的角点的邻域P中点x=(μ,v)T处的像素灰度值。选择n个二进制测试点对，则得到的BRIEF描述子为n维的二进制码串，如下式所示：

(5)

式中：n可为128，256或512等，本文n=256。上述生成的BRIEF描述子没有方向，不具备旋转不变性，当图像的旋转角度较大时，其性能急剧下降。因此，ORB将角点主方向θ作为BRIEF描述子的主方向，以此取得旋转不变性。原理为在点对(xi,yi)处，对于任意具有n个二进制准则集，可以定义一个2×n的矩阵：

(6)

利用角点主方向为θ的旋转矩阵Rθ就可构造S的有向形式Sθ=RθS。因此最终得到具备旋转不变性的Rotated BRIEF为

gn(p,θ)=fn(p)|(xi,yi)∈Sθ

(7)

3 优化的ORB算法

ORB算法采用FAST算法检测角点，而FAST算子对光照亮度噪声不敏感，鲁棒性差，会引入一些不稳定的边缘点。另外，采用最近邻汉明距离粗匹配时存在错误匹配的情况，需要进一步提高匹配精度。基于以上分析，本文提出一种优化的ORB算法，它采用预处理增强鲁棒性以及改进匹配策略剔除误匹配的方法。

3.1 预处理

在角点检测之前，考虑到光照变化和噪声的影响，采用图像增强技术和拉普拉斯-高斯算子对图像序列进行预处理。首先对于光照变化和对比度大的序列采用直方图均衡化技术进行预处理，可以增加图像像素灰度值范围，而且使图像更清晰，角点分布更均匀，更稳定，消除光照强度的影响。然后考虑到图像采集中存在较多的高斯噪声，先采用高斯滤波函数去除噪声，再使用拉普拉斯算子锐化图像。经过拉普拉斯-高斯算子对图像进行去噪处理后，增强图像的边缘及灰度变化大的部分，图像更加清晰，更加有利于FAST算子检测角点。高斯滤波函数如下：

(8)

对上式进行拉普拉斯变换可以得到拉普拉斯-高斯算子：

(9)

(10)

3.2 改进的特征匹配方法

传统的ORB算法采用最近邻汉明距离作为特征点相似性判定准则，来获得图像间的匹配点对，但该方法保留了待匹配ORB点的最近邻作为和它匹配的点，并且没有对初匹配点对进行验证和筛选，因而会引入大量的误匹配点对，降低了求解仿射参数的精度和速度，导致稳像结果存在较大的误差，因而不适用本文移动平台数字稳像算法。

参考SURF算法特征匹配采用的近邻欧式距离，本文中ORB特征向量的匹配采用近邻汉明距离，首先找到目标帧中与参考帧ORB特征点P汉明距离最近的关键点P1和次近的关键点P2，并将P1、P2与P的汉明距离分别记为d1和d2，d1

3.3 级联滤波

由于局部运动物体的存在，以及噪声等原因，造成粗匹配点存在部分误匹配点，影响全局运动参数估计的速度与精度，故有必要在求解补偿参数前剔除误匹配点对。本文提出2个判断误匹配点对的准则。

准则一：提取的Rotated BRIEF描述子的主方向代表了该ORB特征点的方向，正确匹配的P与P′点的对应的主方向应该一致，若主方向角度差值过大可以予以剔除。

准则二：正确匹配点对与各自邻域内角点的数量应该相同，假如存在缩放运动则不可以使用固定的邻域范围。而相邻帧图像缩放可以忽略不计，主要考虑平移和旋转运动，故可以选择圆形邻域，具体定义如下式：

(11)

式中：σ和σ′分别表示P和P′点的特征尺度；(t,s)和(t′,s′)表示满足半径为r的邻域条件的角点坐标；k为权值。

对通过邻近汉明距离匹配得到的初步匹配点对进行级联滤波处理，满足准则一和二的予以保留，反之剔除，直到保留的匹配结果小于设定的最小阈值时停止滤波，并进行下一步参数估计。

4 参数估计与补偿

4.1 参数模型

本文同时考虑了模型参数的精度及速度需求，采用Similarity模型对造成帧间场景变化的摄像机运动进行建模。Similarity模型如下：

(12)

式中：s表示缩放因子；θ表示旋转角度的大小；T为平移矢量。

由于视频序列帧间图像尺度缩放变换可以忽略，而且旋转角度一般小于5°，所以Similarity模型中可取s=1，cosθ≈1，sinθ≈θ，于是该模型简化为如下形式：

(13)

设正确匹配点对总数为N，参考帧图像中点(xi,yi)和目标帧图像中点(Xi,Yi)为第i对匹配点对，则由(13)式可得

(14)

进一步变形得

(15)

(15)式中含有3个未知参数，故最少需3对匹配点即可得到补偿参数(dx,dy,θ)。当N>2时，根据(15)式计算最小二乘解即可。(15)式可缩写为

Ax=b

(16)

进一步变形得

x=[ATA]-1ATb

(17)

求解方程(17)的最小二乘解，即可得到相邻两帧的运动矢量(dx,dy,θ)。

4.2 运动补偿

由于视频帧中物体可能存在局部运动，虽然改进了匹配策略，但仍然会存在少量的错误匹配点对。如果直接使用最小二乘估计算法，可能得不到正确的补偿参数。为了避免误匹配数据对求解补偿参数的影响，一般采用随机抽样一致算法[14](RANSAC)剔除外点(误匹配点对)，计算仿射矩阵，但是该算法复杂，效率不高，不适合本文实时应用的要求。

考虑到本文经级联滤波得到的粗匹配点对集合正确率较高，可采用迭代最小二乘估计算法(ILSA)求解运动估计参数。算法流程如下：

1) 将ORB特征匹配结果对代入Similarity模型，建立运动方程Ax=b；

5) 重复步骤1)～4)若干次，当迭代过程中某次匹配结果与前一次相同时或者参数x的变化量小于设定阈值时，迭代结束并得到最终补偿参数x；

6) 对经过迭代排除的ORB特征匹配内点再进行LSA拟合，估计出高精度全局运动参数，对目标帧图像进行运动补偿，消除抖动，最终实现稳像。

采用ILSA估计运动参数，虽然比RANSAC精度有所降低，但是只需少数几次迭代即可，运算速度较快，同时也满足参数精度要求。

5 稳像实验与分析

为验证文中改进ORB算法的鲁棒性以及稳像算法的有效性，分别从标准测试图片(来自Corel5k数据集)特征匹配效果和实拍视频(分辨率为856 pixel x 480 pixel)稳像效果2个方面进行实验说明。在PC机(Inter Core i7-4790，CPU 3.60 GHz，4.00 GB RAM)采用Matlab2011b编程进行实验。

5.1 优化ORB算法匹配性能测试

选择Corel5k数据集中不同标准测试图片用本文优化ORB算法和传统ORB算法进行匹配效果对比，如图2所示，图2(b)为光照变化情况，图2(a)为添加0.02高斯噪声实现目标在平移、旋转运动下的匹配。从图2可以看出，本文优化ORB算法匹配点对数明显减少，但在保证足够匹配点对数的情况下，同时也大大减少了误匹配点对数，进一步提高了匹配精度，可以很好地满足仿射参数求解的需要。

图2 传统ORB算法(左)与优化ORB算法(右)匹配效果对比Fig.2 Matching effect comparison of traditional ORB algorithms(left) and optimized ORB algorithm (right)

为了体现本文算法在匹配速度和精度上的优越性，将本文算法与传统算法进行了对比，结果如表1所示。从表1中可以看出，本文优化算法运算速度快，存在噪声和光照变化情况下误匹配点数明显减少，匹配精度提高了20%以上，有很好的鲁棒性。

表1 两种算法匹配性能测试比较

5.2 优化ORB特征匹配稳像算法效果验证

为了评估本文算法的稳像效果，本文利用帧间逼真度，即峰值信噪比(peak signal to noise ratio，PSNR)作为客观质量评价标准。质量良好的视频的PSNR值一般在30 dB以上，PSNR值越大，视频质量越好。另以f(x,y)为参考图像，f′(x,y)为重建图像。则两幅图像(尺寸为M×N)f(x,y)和f′(x,y)之间均方根误差为

(18)

则PSNR定义为

(19)

式中L为灰度级数。

分辨率为856pixelx480pixel实拍视频序列的稳像实验结果如图3所示。由于对视频序列运动补偿后没有考虑无定义的边缘区域，因此计算整幅图像的峰值信噪比(PSNR)没有意义，因此本文只计算中心区域的PSNR，并给出各自的补偿参数，如表2所示。由补偿参数可知，计算精度为浮点精度，故补偿精度可达亚像素级。

图3 实拍视频稳像结果(由左至右分别为参考帧、目标帧、补偿帧)Fig.3 Results of real video image stabilization (from left to right respectively reference frame, target frame, compensation frame)

视频序列(dx，dy，θ)中心区域PSNR/dB补偿前补偿后稳像时间/s图2(a)(-6．4856，1．6356，-0．0342)24360．096图2(b)(2．1831，-5．6724，0．0216)28400．093图2(c)(-9．6241，2．4373，-0．0142)26370．095

由图3、表2实验结果可以看出，补偿后的视频序列不但主观视觉感受良好，而且客观的PSNR平均提高了10 dB以上，视频质量有显著提高。另一方面，基于改进的ORB算法的电子稳像方法补偿每一帧的时间均小于0.1 s，可以满足实时性要求。

6 结论

首先对ORB算法进行理论介绍与分析，然后提出一种优化ORB算法用于特征匹配进行运动估计，采用预处理和级联滤波增强图像清晰度，减少误匹配点，提高匹配精度与速度，最后采用迭代最小二乘估计进行运动补偿实现稳像。实验结果表明，该数字稳像方法对光照亮度、噪声不敏感，而且速度快，稳像效果良好，用专用硬件加速以后能够满足手持、车载、机器人等移动成像装置的需求，可应用于无人侦察、目标识别与跟踪等领域。但该算法也有一定的局限性，由于ORB算法不具备尺度不变性，因此对可能存在的轻微缩放运动不具备补偿效果，限制了该算法的应用范围，这也是本文下一步需要研究的问题。

[1] Wang Zhimin, Xu Xiaogang. A survey on electronic image stabilization[J].Journal of Image and Graphics, 2010, 15(3): 470-480. 王志民，徐晓刚. 电子稳像技术综述[J]. 中国图像图形学报，2010，15(3)：470-479.

[2] Cuevas E，Zaldvara D, Pérez-Cisneros M，et.al. Block matching algorithm for motion estimation based on Artificial Bee Colony (ABC)[J].Applied Soft Computing，2013,13(6)：3047-3059.

[3] Gu Guohua,Gu Xuehai, Wang Liping. Electric image stabilization based on improved gray projection[J].Journal of Applied Optics，2013，34(6):867-963. 顾国华，顾学海，王利平. 基于灰度投影改进的电子稳像[J]. 应用光学，2013，34(6): 867-963.

[4] Luo Jun, Dong Hongyan, Shen Zhenkang. Video stabilization based on bit-plane registration and Kalman filter[J]. Infrared and Laser Engineering，2008, 37(2): 304-307. 罗军，董鸿雁，沈振康. 基于位平面匹配和卡尔曼滤波的视频稳定[J]. 红外与激光工程，2008, 37(2): 304-307.

[5] Xing Hui，Yan Jinglong，Zhang Shujiang. Digital image stabilization algorithm based on phase correlation[J]. Opto-Electronic Engineering，2007，34(3): 37-41. 邢慧，颜景龙，张树江. 基于相位相关的数字稳像算法研究[J]. 光电工程，2007，34(3): 37-41.

[6] Zhang Yanning,Zhang Xingong,Zhu Yu,et.al. A stabilized Harris confidence based 3SS of digital video stabilizing method[J]. Acta Photonica Sinica,2010,39(2)：364-368. 张艳宁,张新功,朱宇,等. 基于稳定Harris置信度的三步搜索数字稳像方法[J]. 光子学报,2010,39(2)：364-368.

[7] Chu Shouyan, Xi Zhihong. Digital image stabilization based on SURF[J].Journal of Computer-Aided Design & Computer Graphics，2014，26(2),242-247. 初守艳，席志红. 结合SURF的数字稳像技术[J]. 计算机辅助设计与图形学学报. 2014，26(2),242-247.

[8] Schulze C, Liwicki M. Optimized SIFT feature matching for image retrieval[J]. Lecture Notes in Computer Science，2014，1(1)：102-115.

[9] Rublee E, Rabaud V, Konolige K, et al. ORB: An efficient alternative to SIFT or SURF[C]// ICCV.New York:IEEE, 2011: 2564-2571.

[10]Rosten E, Porter R,Drummond T. Faster and better: a machine learning approach to corner detection[J]. IEEE Trans. Pattern Analysis and Machine Intelligence，2010，32(1)：105-119.

[11]Calonder M, Lepetit V, Strecha C, et al. BRIEF: binary robust independent elementary features[C]//ECCV.Berlin:Springer Berlin Heidelberg,2010: 778-792.

[12]Hou Yi, Zhou Shilin, Lei Lin,et.al. Fast fully affine invariant image matching based on ORB[J].Computer Engineering & Science，2014，36(2)：303-310. 候毅，周石琳，雷琳,等. 基于ORB的快速完全仿射不变图像匹配[J]. 计算机工程与科学，2014，36(2)：303-310.

[13]Wang Guodong， Wen Pengcheng， Chen Yue. A method for aerial image stitching using ORB feature points[J].Journal of Inner Mongolia University:Natural Science Edition，2014，43(4)：425-433. 王国东，文鹏程，程岳. 一种利用ORB特征进行航拍图像拼接的方法[J]. 内蒙古师范大学学报:自然科学汉文版，2014，43(4)：425-433.

[14]Chen Fuxin，Wang Runsheng. Fast RANSAC with preview model parameters evaluation[J]. Journal of Software,2005，16(8)：1431-1437. 陈付幸，王润生. 基于预检验的快速随机抽样一致性算法[J].软件学报，2005，16(8)：1431-1437.

Fast robust digital image stabilization based on feature matching

Xie Zheng, Cui Shaohui, Li Jinlun

(Ordnance Engineering College, Shijiazhuang 050003, China)

In view of the problems that the translation and small angle rotation motion always exist between adjacent frames when the handheld mobile camera is filming video sequence, and it is easily affected by noise and illumination changes,we put forward a kind of real-time robust digital image algorithm based on optimized oriented features from accelerated segment test (FAST) and rotated binary robust independent elementary features (BRIEF) (ORB) feature matching algorithm.Firstly the adjacent frame images were preprocessed to enhance image clarity and to avoid noise interference;secondly the oriented FAST operator was used to detect feature points and the rotated BRIEF was used to describe feature points, then the neighbor hamming distance was adopted to match the ORB feature point pairs; thirdly the cascaded filter was used to remove the false matching points; finally the iterative least squares method(ILSM) was used to fit model parameters,then the motion compensation was done to achieve digital image stabilization. Standard image matching test and digital image stabilization experimental results show that the run time of compensation for each frame by the electric image stabilization method based on improved ORB algorithm is faster than 0.1 s, the positioning accuracy can reach sub-pixel level, this method can effectively compensate the translation and rotation movement between the adjacent frames, and is not sensitive to noise and illumination changes, has strong robustness. After image stabilization processing,the real scene shooting video quality obviously improves and the peak signal-to-noise ratio (PSNR) increases by an average of 10 db.Key words:digital image stabilization; ORB feature matching; motion estimation; cascade filter; iterative least squares method

1002-2082(2015)06-0893-07

2015-04-28；

2015-08-10

军内科技创新项目(装司字[2012]665)

谢征(1991-)，男，安徽亳州人，硕士研究生，主要从事捷联图像制导电子稳像技术研究。

E-mail：xiezheng@mail.ustc.edu.cn 。

TN911.73;TP394.1

A

10.5768/JAO201536.0602003