李峰 张宏志 左旺孟

摘 要：基于支持向量相关滤波器（Support Correlation Filters，SCF）的目标跟踪方法存在严重的样本边界不连续问题，因此模型判别能力受到严重限制。本文将空间正则化项引入到SCF中，提出了基于空间正则化约束的支持向量相关滤波器（Spatially Regularized SCF，SRSCF）模型。相比于SCF，SRSCF不仅可以借助更大的图像区域进行模型学习，同时也能缓解样本的边界不连续问题对模型学习的负面影响，由此得到判别能力更强的模型。此外，本文提出了一种ADMM（Alternating Direction Method of Multiplier）算法求解SRSCF模型，其中每个子问题具有解析解。实验结果表明，相较于SCF，SRSCF能够有效地提升跟踪精度，同时仅增加较少的计算开销。

关键词： 目标跟踪;支持向量相关滤波器;空间正则化

文章编号： 2095-2163（2021）01-0147-05 中图分类号：TP391.41 文献标志码：A

【Abstract】The existing support correlation Filters （SCF） methods suffer from unwanted boundary discontinuity problem of samples， resulting in the degraded CF models. To address this， this paper incorporates the spatial regularization term into the SCF method， and proposes the spatially regularized SCF （dubbed SRSCF） model. In comparison to SCF， SRSCF can leverage larger image regions during model learning， and also alleviate the negative impacts of boundary discontinuous samples on model training， thereby leading to more discriminative CF models. In addition， an ADMM algorithm is proposed to solve the proposed SRSCF model， in which each sub-problem has closed-form solution. Experimental results show that SRSCF can achieve better performance than the SCF models， and only need less additional computational overhead.

【Key words】object tracking; Support Correlation Filter; spatial regularization

0 引 言

近年来，相关滤波器（Correlation Filter，CF）方法凭借其良好的计算效率和稳定的性能在目标跟踪领域取得了巨大的成功。基于CF的跟踪方法旨在学习具有判别能力的二类分类器，通过与样本进行循环卷积运算，以生成预先定义好的标签响应图。早期的CF方法，如MOSSE[1] ， KCF[2] 等，将分类器学习表示为l2范数约束下的岭回归模型。由于SVM分类器在小样本学习中拥有良好的性能，Rodriguez等人[3] 将SVM和CF模型相结合，提出最大边界CF分类器。但由于该方法需要提前对样本进行线下训练，因此无法应用于在线的目标跟踪任务。为了解决该问题，Zuo等人[4] 将SVM模型嵌入到CF跟踪框架下，提出了支持向量CF模型—SCF。SCF不仅可以借助快速傅里叶变换加速模型学习，同时也能够灵活地扩展到多通道、核空间中以提升模型的判别能力。

虽然SCF方法表现优异，但由于其采用标准的CF模型，因此存在严重的样本边界不连续问题。样本的边界不连续问题源于CF模型的循环样本假设，即训练样本集合是单个基样本通过循环移位得到。基于此，距离目标较远的循环样本会在边界位置上存在像素不连续的现象，由此产生大量不真实的虚拟样本，导致模型的判别能力受到影响。为解决该问题，MOSSE[1]，KCF[2] 等方法在基样本上点乘一个余弦形式的窗函数进行数据预处理，但无法完全消除边界不连续的样本;最近，空间正则化方法[5-6]被用于解决样本的边界不连续问题，并取得了优异的效果。其中，Galoogahi等人[6]将二值掩膜函数添加到CF模型上，可以令目标外部的模型系数恒为0，由此缓解边界不连续样本对模型学习的负面影响，最终带来了领域优先的性能。然而，现有的空间正则化方法均基于岭回归函数形式的CF模型，

在基于SCF的跟踪方法中缺乏相应的研究。因此，本文将二值掩膜函数形式的空间正则化项融入到SCF框架中，提出了基于空间正则化约束的支持向量相关滤波器模型—SRSCF，在保证跟踪速度不明显损失的前提下，提升SCF模型的判别能力。

1 支持向量相关滤波器方法的回顾

给定大小为M×N的訓练样本x，其中x={x1，…，xD}共包含D个特征图，而y∈RM×N表示标签响应图，则基于半监督学习的支持向量相关滤波器可以表示为：

其中，{w，b，y}表示待求解的模型参数;ξ为松弛变量;1为取值全为1的矩阵;C表示正则化超参数;运算符“”和“*”分别对应于逐位置的点乘和循环卷积运算。

不同于标准CF模型采用预先定义好的样本标签，SCF的标签y仅包含一部分循环样本的标定。给定目标和样本xi的中心位置分别为pc和pi ，则样本xi 在置信度图中的取值的数学定义为：

其中，exp（·） 表示指数函数;γ表示归一化常量参数;参数α和β控制标签值的变化速度。

根据置信度图m，样本xi的标签定义为：

其中，θl和θu分别表示阈值的最小值和最大值，Ωu表示样本的标签未知，需要通过学习得到。

在SCF[4] 中，采用了交替更新的迭代优化方法，分别求解SCF的各个子问题，由此保证了模型求解的效率。基于循环卷积运算的性质，公式（1）中样本x与分类器w的循环卷积等价于将w与样本x的各个循环移位样本做内积运算，因此SCF存在训练样本的边界不连续问题，这会严重影响CF模型的判别能力。

2 基于空间正则化约束的支持向量相关滤波器模型

为缓解样本的边界不连续问题，Galoogahi等人[6] 将空间正则化项引入到CF模型中，通过将二值形式的掩膜函数添加到模型上，可以有效抑制样本边界不连续的问题。鉴于文献[6]中研究得到的优秀属性，本文将二值掩膜函数形式的约束项引入到SCF框架中，得到基于空间正则化约束的SCF模型（SRSCF）为：

其中，P表示二值形式的掩膜矩阵，其作用是裁剪大小为M×N的变量wd位于中心的W×H个元素，（W， H）表示目标的宽高。

其中，λd和μ分别表示拉格朗日乘子和惩罚因子。

公式（7）可以通过ADMM算法迭代求解各个变量的子问题。接下来逐个给出各个变量的求解，对此拟展开详述如下。

2.1 子问题g

给定变量{w， b， y， e}，公式（7）可以变为：

采用帕斯卡尔定理，公式（8）可以转化到频域计算，由此得到：

与文献[6]类似，子问题g可以划分为M×N个独立的子问题求解。具体来说，假设x（t）∈RD表示 x在第t个像素位置的所有D个通道组成的向量，则g︿的第t个分量g︿（t）可用式（10）来求解：

3 实验结果

本小节采用OTB-2013和OTB-2015[8] 两个数据集验证本文方法的有效性。具体来说，首先将SRSCF与当前处于领先水平的跟踪方法对比，然后分析SRSCF在各个视频属性下的跟踪性能。

3.1 参数设置

仿照SCF[4]，本文采用灰度、HOG和Color Names （CN）[9] 等3种特征进行特征提取，同时参数C，α，β，θl和θu分别设置为104，1，1.5，0.4和09。此外，拉格朗日乘子初始值λ（0）=1，参数μ=1.2， ADMM的最大迭代次数NI=4。借助空间正则化项，可以使用更大的图像区域用于模型学习，同时避免过多背景对模型训练的负面影响。基于此，仿照BACF[6]，研究中裁剪边长为5WH的正方形图像区域学习模型。

3.2 与其他跟踪方法的对比

本节将SRSCF与一些有代表性的跟踪方法，即SRDCF[5]，SCF[4]， BACF[6]， ECOhc[10]，在OTB-2013和OTB-2015数据集上进行对比。表1给出了2个数据集上基于Mean OP的性能和FPS对比结果。可以看到，相比于基线算法SCF，SRSCF在OTB-2013和OTB-2015数据集上分别带来14 %和115 %的提升，这2个数据集上性能提升差别较大的原因可归结为SRSCF针对OTB-2013进行过较为精细的参数调整。SRSCF也超过了同样使用二值掩膜函数的BACF方法，比后者分别有2.5 %和1.4 %的提升。此外，相比于SCF，SRSCF算法在2个数据集上的FPS分别下降了2.2和1.3，这说明SRSCF在保证更好性能的基础上，仅增加较小的额外计算开销。最后，上述方法在OTB-2013和OTB-2015上的AUC曲线如图1所示。相比于SCF， SRSCF在2个数据集上分别有0.6 %和7.3 %的AUC分数提升。

3.3 不同视频属性下的性能对比

为测试SRSCF在不同视频属性下的性能，本文在OTB-2015数据集上进行实验。所有方法在11种视频属性下的AUC分数如图2所示。由图2可以看到，在大多数视频属性下，SRSCF超过了除ECOhc以外的其他跟踪方法，这也证明了本文方法的有效性。同时，图3展示了4种有代表性的视频属性下AUC曲线的对比结果。由图3可以看到， SRSCF在快速运动（Fast Motion）和遮挡（Occlusion）属性上比SCF有更好的结果，这是由于通过空间正则化项，使得SRSCF可以使用更大的图像区域进行模型训练和跟踪;此外，通过空间正则化项，CF模型的判别能力得到了提升，因此在运动模糊（motion blur）和平面外旋转（out-of-plane rotation）属性上性能也较SCF更好。

4 结束语

本文针对现有支持向量相关滤波器方法存在样本边界不连续问题的缺陷，提出了基于空间正则化约束的支持向量相关滤波器模型。通过添加二值函数形式的掩膜矩阵，提出的方法可以使得相关滤波器模型的系数仅集中于目标部分，由此抑制边界不连续样本对模型学习的负面影响。此外，本文提出了一种ADMM算法用于模型求解，可以保证每个子问题具有解析解。在OTB-2013和OTB-2015数据集的实验表明，本文提出的方法相比于基线方法SCF有明显的性能提升，同时仅帶来较小的额外计算开销。

参考文献

[1]BOLME D S， BEVERIDGE J R， DRAPER B， et al. Visual object tracking using adaptive correlation filters[C]//IEEE Conference on Computer Vision and Pattern Recognition. San Francisco， CA， USA： IEEE， 2010： 2544-2550.

[2]HENRIQUES J F， CASEIRO R， MARTINS P， et al. High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2014， 1： 125-141.

[3]RODRIGUEZ A， BODDETI V N， KUMAR B V， et al. Maximum margin correlation filter： A new approach for localization and classification[J]. IEEE Transactions on Image Processing， 2013， 22（2）： 631-643.

[4]ZUO Wangmeng， WU Xiaohe， LIN Liang， et al. Learning support correlation filters for visual tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2019， 41（5）： 1158-1172.

[5]DANELLJAN M， HGER G， KHAN F， et al. Learning spatially regularized correlation filters for visual tracking[C]//IEEE International Conference on Computer Vision. Santiago， Chile： IEEE， 2015： 4310-4318.

[6]GALOOGAHI H K， FAGG A， LUCEY S. Learning background-aware correlation filters for visual tracking[C]//IEEE Conference on Computer Vision and Pattern Recognition. Honolulu， HI， USA： IEEE， 2017： 1135-1143.

[7]PETERSEN K B， PEDERSEN M S. The matrix cookbook[EB/OL].[2012-11-15].http：//matrixcookbook.com.

[8]WU Y， LIM J， YANG M H. Online object tracking： A benchmark[C]//IEEE Conference on Computer Vision and Pattern Recognition. Portland， OR， USA： IEEE， 2013： 2411-2418.

[9]DANELLJAN M， KHAN F S， FELSBERG M， et al. Adaptive color attributes for real-time visual tracking[C]//IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH， USA： IEEE， 2014： 1090-1097.

[10]DANELLJAN M， BHAT G， KHAN F S， et al. ECO： Efficient convolution operators for tracking[C]//IEEE Conference on Computer Vision and Pattern Recognition. Honolulu， HI， USA：IEEE， 2017： 21-26.