王 战 刘松涛 杨绍清 宋 元郭 策

（1.海军大连舰艇学院 大连 116018）（2.91937部队 舟山 316000）

1 引言

在计算机视觉、图像处理领域中，视频目标跟踪是一个重要的部分，也是研究的重点和难点，一直以来都吸引着众多学者的关注和研究。虽然在近几年，视频目标跟踪算法有着很大的进步，但对于一些在特定场合下的特定目标（图像信噪比低，跟踪中目标出现大幅度尺度、光照变化，运动速度过快等），总是需要不断的改进算法，来解决实际存在的各种问题。在目标跟踪中，基于匹配的跟踪方法可以很好地消除目标背景噪声所带来的不良影响，其可以分为两种主流算法：基于灰度匹配的方法和基于特征匹配的方法［1］。基于灰度匹配的方法是利用灰度值的不同区分不同对象，包括绝对误差和算法（SAD）［2］、误差平方和算法（SSD）［3］、归一化积相关算法（NCC）［4］等，但是由于其运算量较大，并且对噪声十分敏感，导致效果较差；基于特征的匹配方法一般先进行特征提取再进行特征匹配，具有实时性好、鲁棒性突出等优点，包括SUSAN［5］角点检测，Harris角点检测［6］等方法。虽然可以解决旋转、平移等问题，但在目标高速运动时，无论是设备与目标之间的距离不定，还是目标本身的模板变化，都会使得上述方法失效。为了解决此类问题，Lowe等提出了 SIFT（Scale Invariant Feature Transform）［7］局部特征匹配算法，其在尺度变换、放射变换上都有良好的匹配性能。随后，Herbert Bay等在SIFT算法的基础上进行改进，提出SURF（speeded Up Robust Features）［8］进行局部特征匹配，极大提升了SIFT算法的实时性。

为了达到更好的跟踪效果，国内外许多学者对SURF算法在不同方面都做了改进。本文首先对SURF算法原理进行介绍，然后对SURF算法近几年在目标跟踪领域的各种改进算法进行梳理，主要包括：基于Mean Shift的SURF目标跟踪改进算法；组合Kalman的SURF目标跟踪改进算法；组合训练学习模块的SURF目标跟踪改进算法等，最后总结各算法的优缺点，并从不同角度分析SURF算法未来的发展方向。

2 SURF算法原理简介

SURF算法不仅具有SIFT算法对尺度变化和光照变化的优良匹配性能，还具有更高的运算速度和鲁棒性，其运算效率是SIFT算法的三倍。

2.1 构造Hessian矩阵和构造高斯金字塔

SURF算法采用Hessian矩阵行列式检测特征点（极值处为特征点区域）。高斯拉普拉斯方法是最好的能够保证尺度不变性的方法，SURF算法就是将Hessian和高斯拉普拉斯方法结合，产生了Hessian-Laplace方法。这样结合把本来对尺度不变性不敏感的Hessian方法实现了特征尺度不变性。图像中某个像素点的Hessian矩阵：

SURF算法利用盒状滤波器近似代替高斯滤波器，这样就是将滤波问题转化成对不同区域的灰度和问题，大大地精简了计算的时间，如图1。

其中，N代表盒状滤波器图像中，突出部分（黑色与白色部分）的个数。Sn代表凸出部分像素数量。φn是第n个突出部分的权值。

那么矩阵行列式的判别式可表示为

可已通过判别式来确定极值点，其中0.9为经验值，用来平衡替换所带来的误差。与SIFT算法不同，SURF算法构造高斯金字塔时，图像大小不变，不同组间盒式滤波器逐渐增大，而相同组间的滤波器之间的模糊系数也是逐渐增大的。

2.2 定位特征点和确定特征点主方向

1）定位特征点

（1）初步定位关键点，将所有经过Hessian矩阵处理后的像素点与三维临域的26个任意点进行比较，若为最值，则保留。

（2）设置合适阈值，适当增加极值，使检测的特征点数量减少，采用三维线性插值法，得到亚像素级别的特征点，最后筛选出稳定的特征点。

2）确定特征点主方向

在SURF算法中，统计特征点圆形临域内的Harr小波特征，来保证旋转不变性并确定主方向：

（1）计算半径为6S（Scale，特征点的尺度值）临域内，60度扇形中所有点，在水平和垂直方向的Harr小波响应总和，其中Harr小波边长为4S。

（2）给响应值附加权重，即靠近特征点的响应值权重大，远离的则小。将扇形内的响应值相加，形成矢量。

（3）以0.2弧度大小的间隔旋转，再进行（1）、（2）步骤，将整个圆形区域计算完毕，选择最长适量方向作为特征点的主方向。

2.3 生成特征描述子

如图2，在特征点周围取一个边长为20S的正方形框，方向是特征点的主方向，然后将其分为16个子框，每个子框中就有需要统计的25个就主方向而言的水平和垂直方向的Harr小波特征的像素点。那么，每个子框就有4个总和。则每个特征点就有64维向量。较SIFT少了一半，所以速度会大幅度增加。

那么盒状滤波器Dxx、Dxy、Dyy的灰度值总和可由积分图像的概念求得：

3 基于Mean Shift的SURF目标跟踪改进算法

Mean Shift算法在计算机视觉中的图像跟踪领域一直是学者们研究的热点，因为算法是相对迭代的连续过程，计算量小，时效性好。而且，由于Mean Shift算法适合与其他算法结合，这为该算法提供了不断创新的条件。

文献［9］利用SURF特征点构造直方图，作为Mean Shift算法的第一步，当算法由于跟踪目标进行以外的旋转造成姿势改变失效时，利用光流法，重新初始化跟踪器和模板。具体流程图见图3。此算法基于机器人平台开发，虽然SURF算法对几何突变和光照变化有很强的匹配性能，但在长时间跟踪时会受到帧间噪声影响。所以利用光流法，解决了模板生成问题，使得跟踪算法能够长时间工作。

文献［10］以基于后验概率的Mean Shift算法作为全局跟踪器，SURF算法作为局部跟踪器，并将其分为长期特征点集合和短期特征点集合，增加了算法的效率，流程图见图4。流程中的综合判断器是用阈值来区分两个跟踪器的优劣等级，根据等级采用不同的结合方法。算法应用双跟踪器跟踪，避免了单一跟踪器在特定场景下的不足，使跟踪更加可靠。但最后的结合判断使得算法更为复杂，难度较大。

文献［11］的创新之处在于其在组合SURF和Mean Shift算法的基础上，又引入了自适应分块，利用SURF算法加强了对目标模板的描述能力，也由于分块权值的作用，使得其对目标部分遮挡问题有了更好的跟踪能力。

从本节可以看出，文献［9］方法非常重要的优势在于可以利用光流法更新SURF特征描述子模板，保证了算法长时间服务的可能。

4 组合Kalman的SURF目标跟踪改进算法

卡尔曼滤波是一种普及度很高的滤波方法，由于其易于操作的特性，适合与其他算法组合，在目标跟踪领域应用广泛。

文献［12］与文献［9］应用平台相同，不同的是其利用Kalman滤波与SURF组合进行跟踪，并利用动态对象模型在处理短时变化的同时，保证了长时变化的稳定性。另外还提出了一种检测目标姿态变化的方法，保证了跟踪的鲁棒性。跟踪框架见图5。

文献［13］是基于旋翼无人机平台的跟踪算法，利用两级PID算法完成位置和姿态控制，保证了目标出现的位置，进而保证了有效的跟踪。利用SURF算法改进KLT算法进行无人机跟踪，由于传统KLT跟踪算法不能有效选择关键点，导致缓慢漂移带来的随机误差，加入SURF算法可使得无效关键点可以从KLT算法中移除，保证算法稳定性。另外，还利用基于NCC模板匹配的检测器和基于卡尔曼滤波器的位置预估器，可以很好解决跟踪中的严重形变和快速运动及遮挡等问题，但对运动复杂的目标，跟踪效果不理想。

从本节可以看出，SURF与Kalman滤波的组合可以更好地应用在快速目标跟踪上，但只应用两个算法，并不能完全符合复杂的跟踪要求，因此学者们又以本身研究领域为出发点，组合了其它算法进行优化。

5 基于深度学习模块的SURF目标跟踪改进算法

文献［14］分为线下学习和线上跟踪。利用SURF算法与神经网络组合，通过线下学习可以获得更高等级的特征匹配。线上跟踪利用组合神经网络深度学习的粒子滤波和Mean Shift算法进行纠正，实现整个跟踪系统。从实验结果看出，算法拥有很好的跟踪效果和发展前景，流程图见图6。

6 结语

通过本文可分析得出，SURF与Mean Shift的组合算法发展前景不大，但可以尝试与Camshift组合［15～16］，进而改善算法的实时性和计算复杂度。Kalman的预测功能可以大幅度提升SURF算法的计算速度，这种组合可以作为目标跟踪系统的一个模块，在许多情境下都可以进行组合使用，拥有广阔的应用前景。基于深度学习模块的SURF目标跟踪算法可以通过解决模板更新问题，进行长时间跟踪，这种组合方法主要应用在目标识别和检测领域，因此如何将其应用在目标跟踪领域是该类算法发展的重点。另外，还有的文献还将TLD跟踪算法与SURF算法组合［17～18］，也有不错的跟踪效果。

经过以上分析，作者拟提出一种集成三类算法优点的目标跟踪方法，首先利用SURF和神经网络算法组成特征点匹配模块，然后由CamShift与Kalman算法跟踪模块，最后利用SURF对跟踪模块进行修正。本算法不仅可以实现难度较大的目标跟踪，还可以长时间运行，并不会出现累加误差。另外，近几年基于OpenCV平台开发的目标跟踪算法层出不穷。OpenCV运行效率高，具有大量优化的代码库、强大的开源性和兼容性。因此，在下一步的探索研究中，如何在OpeanCV平台上进行新算法的开发是今后工作的重点。