李 龙， 王耀南， 张振军

(1.机器人视觉感知与控制技术国家工程实验室，湖南 长沙 410082；2.湖南大学 电气与信息工程学院，湖南 长沙 410082)

基于核相关滤波器的目标旋转跟踪算法*

李 龙1,2， 王耀南1,2， 张振军1,2

(1.机器人视觉感知与控制技术国家工程实验室，湖南 长沙 410082；2.湖南大学 电气与信息工程学院，湖南 长沙 410082)

提出一种新的鲁棒的旋转估计算法，以核相关滤波器理论为基础，通过在目标中心等角度间隔来采样一个样本金字塔，单独训练一个一维的角度估计滤波器，从而将目标旋转角估计问题变为一个检测问题。提出的角度估计方法具有通用性，可以辅助其它没有角度估计功能的跟踪器。在实验中，单独训练一个位移跟踪滤波器和一个尺度估计滤波器，结合本文提出的角度估计滤波器形成一个由三层滤波器组成的跟踪器。和经典的算法在不同测试数据上的对比实验表明,该算法能达到较高的跟踪精度。

目标跟踪； 核相关滤波器； 旋转估计； 鲁棒跟踪

0 引 言

目标跟踪算法从最初简单的模板匹配[1]、卡尔曼滤波[2]、光流算法[3]等，到逐渐流行的粒子滤波算法[4]、Mean-Shift[5]等。最近开始流行的相关滤波器算法因为兼具鲁棒性好、计算量少的特点而得到广泛关注，在历届视觉目标跟踪(visual object tracking,VOT)挑战赛[6]中也有着抢眼的表现。

线性回归分析需要对一组数据进行线性拟合，由于其问题存在闭式解，使得它变得非常简单好用。在线性回归分析的基础上引入核技巧就有了正则最小二乘回归，由文献[7]可以知道，它也存在闭式解。回归分析的一种特殊情形是所有样本之间存在一种关联性—所有的样本都是由一个基本样本经过循环移位得到的，在这种情况下所有的样本组成一个循环矩阵，由文献[8]可以知道，循环矩阵的特征向量对应于傅里叶变换矩阵的列向量，将循环矩阵进行特征值分解以后可以发现它与基本样本的离散傅里叶变换之间存在一种简单的关系。因此，在样本之间存在这种特殊关联的情况下，线性回归分析可以在频域里快速求解，且为闭式解，既保证了最优性又有着很高的计算效率，在实时跟踪领域有着很高的价值。核相关滤波器文献[9]将核回归和循环矩阵理论结合到一起，证明了在满足特定的样本假设的情况下，核回归分析也可以在频域里快速求解，并提出核相关滤波器(kernelized correlation filters,KCF)理论。与传统算法相比，KCF不仅引入了核技巧，还提出如何使用多维特征数据，从而将梯度方向直方图(histograms of oriented gradients,HOG)特征应用到跟踪器中，让算法的适用性和鲁棒性得到增强。

核相关滤波器在目标跟踪领域引起了较大的反响，2014年的VOT比赛冠军[10]针对传统的相关滤波器只能估算平移参数而无法跟踪其它变换参数的缺陷，设计了一个快速有效的分类尺度空间跟踪器 (discriminative scale space tracker,DSST)。该算法探讨了两种尺度估测方法，其一是扩大搜索维度，将原先的二维平面图像扩展到三维尺度空间表示，在三维空间训练相关滤波器并进行跟踪目标；其二是设计一个一维的尺度估计滤波器，在完成目标的平移跟踪以后单独估算尺度。

本文受KCF和DSST算法的启发，针对目标旋转参数的估计问题再设计一个额外的旋转估计滤波器，用于在估算了目标的位移和尺度参数以后单独估算目标的旋转变化。与DSST不同，DSST是建立在最小输出均方误差和(minimum output sum of squared error,MOSSE)滤波器理论的基础上，相当于使用线性核函数的KCF，本文将核技巧引入到滤波器的设计与应用中，来提高跟踪效果的鲁棒性。

1 基于核相关滤波器的旋转估计算法

1.1 学习一个旋转滤波器

为了学习一个旋转滤波器，对样本图像进行旋转，得到样本在不同角度下的表示，再对每个样本进行特征提取，从而一个旋转样本对应一个d维特征向量。

为了与循环矩阵对应起来，换个观察角度来看问题。如图1所示，对目标图像进行等角度间隔旋转采样，得到n幅图像，依次记为q0,q1,…,qn-1。令x=[q0,q1,…,qn-1]，将x的每一行看成一个单独的特征向量，则x是一个长度为n，维数是d的一个向量。对x进行循环移位，得到x0=x,x1=[zn-1,z0,…，zn-2],…,xn-1=[z1,z2,…,z0]，共生成n个样本，给每个样本赋一个标签值(回归值)，一般用高斯函数生成。然后需要求解一个岭回归(ridge regression)问题，为了简化问题，先只考虑d=1的情况，对于d>1的情形，只需要对每个特征维度分别训练一个跟踪器，然后在应用的时候每个跟踪器单独计算目标响应，将所有响应值叠加起来即可。

图1 构造旋转样本金字塔

(1)

式中λ为用来控制过拟合风险的正则项，若λ=0，则问题简化为线性回归(linear regression)。岭回归问题存在闭式解

w=(XTX+λI)-1XTY

(2)

(3)

式中X为由所有样本组成的一个大矩阵，Y为由所有样本标签组成的一个列向量。

由于X是由基本向量x生成的循环矩阵，因此记为C(x)。循环矩阵的一个重要性质是它的特征值分解与傅里叶变换之间存在着一种天然的联系

(4)

(5)

1.2 核相关滤波器

带核的最小二乘回归问题是求解这样一个回归器

(6)

使得如下目标函数取得最小值

(7)

式中α=[α0,α1,…,αN-1]是带求解系数向量，K是核矩阵且K(i,j)=K(xi,xj)。该问题的闭式解为

α=(K+λI)-1y

(8)

在本文设定的旋转估计问题中，所有xi都是由基本样本x经循环移位得到的，文献[9]已经证明，在采用线性核、径向基函数等核函数的情况下，核矩阵K是循环矩阵。利用循环矩阵与傅里叶变换之间的内在联系，可以得到

(9)

1.3 快速旋转估计

在跟踪过程中，正如训练过程一样，在目标位置(假设目标的中心和尺度已经使用其它跟踪器得到)等角度间隔采样许多个样本，然后提取各自特征描述向量，构造基本样本z。然后就需要对所有的z的循环移位得到的样本进行评估，即把z0,z1,…,zn-1依次代入式(6)

(10)

同样[9]Kxx也是循环矩阵，利用式(4)对上式进行化简得到

(11)

2 实验结果与分析

在本文的实验中，使用三层核相关滤波器来分别对目标的平移变化、尺度变化以及旋转变化分别进行估计：第一层相关滤波器是专门用于跟踪目标平移变化的二维滤波器，详见文献[9]；第二层相关滤波器是专门用于跟踪目标尺度变化的一维滤波器，用于在已知目标位置的情况下单独估算目标尺度，详见文献[10]；第三层相关滤波器是专门用于跟踪目标旋转变化的一维滤波器，用于在已知目标位置和尺度的情况下单独估算目标旋转角度，图2是本文提出的算法。

图2 基于三层滤波器的目标跟踪算法

实验用到的对比算法有经典的基于跟踪—学习—检测(tracking-learning-detection,TLD)算法，基于稀疏表示和粒子滤波的L1APG(L1trackerusingacceleratedproximalgradient)[11]算法和基于局部稀疏表示的SCM(sparsity-basedcollaborativemodel)算法[12]，以及基于相关滤波器的KCF[9]算法和DSST[10]算法。其中KCF只跟踪目标平移变化，TLD和DSST同时估算目标尺度，L1APG和SCM算法估算参数的放射变换。

为了验证算法的有效性，从公共测试集[13]中选取Doll,Dudek,MountainBike图像序列进行实验。这三个图像序列中目标发生45°以内的小角度旋转，其中，Doll,Dudek序列还伴随着目标尺度的变化。另外还选取部分无人机实拍视频中抽取两个无人机对地面车辆跟踪场景的图像序列，并手动标定了真值。

实验结果以重叠率曲线和精度曲线的方式显示，如图3所示，其中的数值表示单个跟踪器在所有数据集上的平均重叠率/跟踪精度。从图中可以看出本文算法在这些数据集上取得了较好的效果。

图3 不同算法的评估结果

图4显示的是部分跟踪结果，从图中可以看出，不管是对小角度旋转还是对大角度变化，本文所提出的跟踪算法都能正确地估计出目标的角度变化参数，给出正确的结果。同时可以看出，对于Truck数据集，由于目标长度太大，用矩形框描述非常不适宜，所以TLD算法无法跟踪目标，而基于粒子滤波和稀疏表示的SCM算法无法适应目标在不同视角下发生的外观变化，也无法连续跟踪目标，本文所提出的基于三层核相关滤波器的跟踪算法不仅能持续跟踪目标，还能正确估计出目标姿态。

图4 部分跟踪结果

3 结束语

本文提出一种基于核相关滤波器的角度估计算法，算法根据核回归理论和循环矩阵理论，在频域训练一个角度估计滤波器。在实验中，本文设计了一个由三层核相关滤波器组成的跟踪器，通过和其它算法的对比，证明了本文算法在目标跟踪中的有效性。本文算法是通用性的，可以用于辅助其它没有旋转估计功能的跟踪器来完成对目标旋转变化的跟踪。

[1] Nakhmani A,Tannenbaum A.A new distance measure based on generalized image normalized cross-correlation for robust video tracking and image recognition[J].Pattern Recognition Letters,2013,34(3):315-321.

[2] Ruckdeschel P,Spangl B,Pupashenko D.Robust Kalman tracking and smoothing with propagating and non-propagating outlier-s[J].Statistical Papers,2014,55(1):93-123.

[3] Kalal Z,Mikolajczyk K,Matas J.Forward-backward error:Automatic detection of tracking failures[C]∥2010 International Conference on Pattern Recognition,ICPR 2010,Istanbul:IEEE,2010:2756-2759.

[4] Nummiaro K,Koller-meier E,Van Gool L.An adaptive color-based particle filter[J].Image and Vision Computing,2003,21(1):99-110.

[5] Jia D,Zhang L,Li C.The improvement of mean-shift algorithm in target tracking[J].International Journal of Security and Its Applications,2015,9(2):21-28.

[6] Kristan M,Pflugfelder R,Leonardis A,et al.The visual object tracking (VOT)challenge results[J].Lecture Notes in Computer Science,2014,8926:191-217.

[7] Rifkin R,Yeo G,Poggio T.Regularized least-squares classifica-tion[J].Acta Electronica Sinica,2003,190(1):93-104.

[8] Gray R M.Toeplitz and circulant matrices:A review[J].Communications and Information Theory,2005,2(3):155-239.

[9] Henriques J F,Rui C,Martins P,et al.High speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(3):583-596.

[10] Danelljan M,Hger G,Khan F,et al.Accurate scale estimation for robust visual tracking[C]∥Proceedings of the British Machine Vision Conference,BMVC 2014，Nottingham:BMVA,2014:1-38.

[11] Bao C,Wu Y,Ling H,et al.Real time robust l1 tracker using accelerated proximal gradient approach[C]∥2012 IEEE Confe-rence on Computer Vision and Pattern Recognition,CVPR 2012,Providence,RI:IEEE,2012:1830-1837.

[12] Zhong W,Lu H,Yang M H.Robust object tracking via sparse collaborative appearance model[J].IEEE Transactions on Image Processing,2014,23(5):2356-2368.

[13] Yi W,Jongwoo L,Ming H Y.Object tracking benchmark[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1834-1848.

Object rotation tracking based on kernelized correlation filters*

LI Long1,2, WANG Yao-nan1,2, ZHANG Zhen-jun1,2

(1.National Engineering Laboratory for Robot Vision Perception and Control Technologies,Changsha 410082,China; 2.College of Electrical and Information Engineering,Hunan University,Changsha 410082,China)

A new robust rotation estimation method is proposed,which is based on kernelized correlation filters.A rotation pyramid is sampled around the target center and an extra 1D rotation filter is trained.Then the rotation estimation problem is tackled in a tracking-by-detection way.The rotation estimation approach is generic and can be incorporated with any tracking algorithm without a rotation estimation scheme.In the experiment,a three-layer-based tracker consisting of a 2D translation filter,a 1D scale filter and a 1D rotation filter is proposed trained and demonstrated to achieve more accurate results against state-of-the-arts on challenging dataset with rotation variation.

object tracking; kernelized correlation filters; rotation estimation; robust tracking

10.13873/J.1000—9787(2017)03—0147—03

2016—04—01

国家科技重大专项项目(07—Y30B10—9001—14/16)；国家自然科学基金资助项目(61501181)

TP 391.4

A

1000—9787(2017)03—0147—03

李 龙(1988-)，男，硕士研究生，主要研究方向为目标跟踪，模式识别。