林淑彬, 丁飞飞, 杨文元*

(1.闽南师范大学 计算机学院, 漳州 363000)(2.闽南师范大学 福建省粒计算及其应用重点实验室, 漳州 363000)

视觉目标跟踪[1]是计算机视觉中的重要组成部分,涉及图像处理、人工智能[2]、模式识别、自动控制等不同领域,在军事科学、医疗诊断、人机交互、无人驾驶、安全监控等方面有广泛应用,因此得到极大关注，发展快速.由于受目标局部遮挡、运动模糊、快速运动、变形、光照变化、相似背景、平面旋转和尺度变化等因素[3]影响,视觉目标跟踪仍然是极具挑战性的工作.近年来,有多种跟踪方法用于处理不同的目标跟踪问题,其中基于判别相关滤波器(discriminative correlation filter, DCF)[4]和基于颜色特征的跟踪方法尤其引人瞩目.

在基于DCF的跟踪器中,相关运算可在频域中进行[5],因此DCF具有计算效率高的优点.DCF通过跟踪训练滤波器模型中目标的位置,提取出HOG特征,并训练出一个滤波器模板,对于下一帧目标区域,提取出HOG特征[6],与滤波器模板作相关运算.重复上述步骤进行后续帧的目标跟踪[7]与模型训练,实现模型在线训练与目标实时跟踪[8-9].凭借HOG特性,DCF表现出色,每秒能以数百帧的速度运行.

颜色特征[10]是在图像检索中应用最为广泛的视觉特征,因为颜色往往和图像中所包含的物体或场景相关.此外,与其他视觉特征相比,颜色特征对图像本身的尺寸、方向、视角的依赖性较小,从而具有较高的鲁棒性.颜色特征是一种全局特征,它描述了图像或图像区域所对应的物体表面性质.颜色直方图是最常用的表达颜色特征的方法,能简单描述一幅图像中颜色的全局分布.其优点是不受图像旋转和平移变化影响[11-12],进一步归一化还可以提升应对尺度变化的性能.

在复杂运动场景下,目标跟踪的性能会受影响,为了让跟踪器获得更好的效果,将跟踪器的多种特征融合[13].受DCF算法启发,文中提出一种融合双HOG特征和颜色特征的目标跟踪(color HOG feature correction filter, CHOG)方法.首先在当前帧目标区域构造两个HOG特征,分割为HOG1和HOG2,再利用DCF框架对两个特征进行滤波处理,使它们都各自独立地跟踪目标,接着从处理好的两个特征中选择出最优特征;然后利用颜色直方图提取当前帧目标区域的颜色特征,将数字图像中的像素值进行相应转换,用数值表示颜色特征;最后融合前两个部分并获得特征响应图,在响应图中寻找最大值的位置,就是预测出的新目标位置.该方法使用多维特征和改进的滤波器训练,进一步提高了性能和计算效率.CHOG跟踪器在OTB-2013和OTB-2015[15]两个基准数据集上与KCF[4]、Staple[9]、DSST[16]、SRDCF[17]、SAMF[18]、LCT[19]6个跟踪器进行了比较.在背景杂乱、平面外旋转和形状变化等方面表现出良好的跟踪效果.

1 相关工作

1.1 判别相关滤波器

文献[20]中首次将相关滤波(correlation filter, CF)用在跟踪领域,提出一种使用误差最小平方和滤波器(minimum output sum of squared error filter, MOSSE)的跟踪器.相关滤波用来描述信号处理领域中两个信号之间的相似程度.相关滤波目标跟踪方法的基本思想是跟踪中的两个信号越相似,其相关值越高,越接近目标区域.相关滤波模板如图1.

图1 相关滤波模型Fig.1 Correlation filtering model

MOSSE的思想是找到一个跟踪滤波器,使它在目标上的响应输出值最大:

g=f⊙h

(1)

式中,g、f、h分别为响应输出、输入的图像、滤波模板.进行卷积计算很耗时,因此对其采用快速傅里叶变换,把卷积[21]计算换成点乘操作,极大地减少计算量,从而将式(1)变为:

G=F·H*

(2)

得到

H*=G/F

(3)

在实际跟踪过程中,为了提高滤波器模板的鲁棒性[22],以目标的m个样本作为参考,其模型为:

(4)

为了得到其最小值,将上式进行转换求导，得到滤波器模型：

(5)

考虑滤波器的鲁棒性,对模型进行策略更新:

(6)

(7)

(8)

将模型更新分为分子At和分母Bt两个部分,η为学习率.

CF通过MOSSE算法显示出了巨大潜力,大量基于CF的跟踪算法相继出现.文献[4]中利用训练块的循环结构,提出具有HOG特征的核空间，训练相关滤波器.SRDCF(spatially regularized discriminative caorrelation filter)跟踪器[23]通过对相关滤波系数进行空间位置惩罚减轻边界效应.文献[24]中提出C-COT跟踪算法,它是一种基于判别式学习的特征点跟踪方法,融合了具有不同空间分辨率的多个卷积层的学习框架.DCF在多通道特征上[25]作优化,成为视频跟踪领域应用广泛的跟踪算法.其核心思想是在跟踪的目标位置训练一个跟踪器,使用该跟踪器去检测预测的目标位置,再用检测结果来更新训练集从而更新目标跟踪器.在训练目标跟踪器时采用HOG特征[24]来描述感兴趣区域,选取的目标中心区域划分为正样本,目标周围区域划分为负样本.DCF通过目标的循环移位构建正负样本,利用循环矩阵的特殊性[26],借助于FFT变换,将卷积变换[17]为频域的点乘,大大降低计算的复杂度,提高了处理速度.

1.2 颜色特征

一些特征提取算法中,一个高复杂度特征的提取能够解决目标检测等问题,需要以更高的处理效果为代价.而颜色特征[10，19]并不需要进行大量计算,只需将数字图像中的像素值进行相应转换,表现为数值即可.因此颜色特征以其低复杂度成为一个较好的特征,而颜色直方图是在许多图像检索中被广泛采用的颜色特征.颜色直方图所描述的是不同色彩在整幅图像中所占的比例,而并不关心每种色彩所处的空间位置,即无法描述图像中的对象或物体,它特别适于描述那些难以进行自动分割的图像.颜色直方图可基于不同的颜色空间,最常用的是RGB颜色空间[27].

在图像处理中,可以将一个具体的像素点所呈现的颜色分多种方法分析,并提取出其颜色特征分量.如通过手工标记区域提取一个特定区域的颜色特征,用该区域在一个颜色空间3个分量各自的平均值表示,或者可以建立3个颜色直方图.计算颜色直方图需要进行颜色量化[14],常用的做法是将颜色空间的各个分量均匀地进行划分.即将颜色空间划分成若干个小的颜色区间,每个小区间成为直方图的一个维度,然后通过计算颜色落在每个小区间内的像素数量，得到颜色直方图.一般来说,颜色小区间的数目越多,直方图对颜色的分辨能力就越强.然而,维度数目很大的颜色直方图会增加计算负担,不利于图像检索[28].这时可以采用一种有效减少直方图维数的方法，即只选用那些数值最大的维度来构造特征[29],因为这些表示主要颜色的维度能够表达图像中大部分像素的颜色.实验证明这种方法不会降低颜色直方图的检索效果.

2 融合双HOG特征和颜色特征的目标跟踪

针对运动场景变化对目标跟踪的影响,在HOG特征和颜色特征基础上,文中提出融合双HOG特征和颜色特征的相关滤波目标跟踪方法,系统框图如图2.

图2 融合双HOG特征和颜色特征的目标跟踪系统框图Fig.2 Block diagram of target tracking system integrating dual HOG feature and color feature

2.1 特征提取

在计算机视觉和图像处理中,方向梯度直方图是图像局部区域的梯度特征量的统计.HOG特征的提取过程为:首先对原图进行灰度化、gamma压缩和归一化;然后把图像划分成多个大小一样的单元,并统计各自相应的梯度直方图信息;接着把元胞所有特征串联起来,构成大的相互有重叠的块,统计整个块的直方图特征;为了进一步减少光照及噪声影响,再对每个块内的梯度直方图进行归一化处理,进一步减轻光照影响;最后将整个窗口中所有块的HOG特征向量串联起来.

针对HOG特征在目标跟踪中的特性,以其作为进行目标位置估计的滤波器.由于HOG的低级特性,为31维度,所以不进行从粗到细的融合,只是简单地将它们连接起来.为了获得更多特征,将图像块中所有像素的平均灰度值作为1维特征,并将其与HOG特征连接到一个32维向量中,然后将其平均分解为两个16维特征,分别记为HOG1和HOG2.两个16维特征线索各自进行相关滤波响应,最后选择出响应值最大的特征.

训练滤波器的目的是找到一个函数f(p)=wdp使样本xi及其回归目标yi的平方误差最小：

(9)

λ为正则化参数,控制过度拟合.

求解w得到:

w=(XHX+λI)-1XHy

(10)

式中，XH为复共轭转置矩阵.

所有循环矩阵都可以通过离散傅立叶变换进行对角化,所求线性回归解为:

(11)

因此,通过式(11)计算具有相同大小x的特征图矩形区域p的响应值R,并搜索出R的最大值:

(12)

式中,d为特征维数,取值范围为1～D.

颜色信息以一种简单的方式应用于训练样本中,以增强空间可靠性:

X′=X·C

(13)

式中：X为数据矩阵；C为基于直方图计算目标区域的每个像素得分而获得的颜色掩码.

最后,将颜色信息X′和搜索出的HOG特征最大值Rmax进行融合,从而识别出新的目标位置P.

2.2 算法

根据上述过程,融合双HOG特征和颜色特征的目标跟踪算法CHOG步骤如下：

输入:视频系列S1…Sn,以及第1帧的跟踪目标位置

输出:视频系列的跟踪目标位置P1…Pn

(1) 提取第1帧跟踪目标位置P1;

(2) 初始化目标跟踪器;

(3) 计算第t帧的HOG特征,并分割成HOG1和HOG2,分别进行相关滤波处理;

(4) 分别利用循环矩阵进行傅里叶变换,选择滤波处理的最佳结果;

(5) 提取第t帧的颜色属性特征;

(6) 融合最佳HOG特征和颜色属性特征，得到特征响应图;

(7) 根据响应图寻找目标位置,即预测出的新目标位置Pt+1.返回步骤(3)，直到视频结束.

3 实验结果及分析

为了验证CHOG跟踪算法的性能,在OTB-2013和OTB-2015两个基准数据集上进行实验,将该跟踪器算法与6个先进跟踪器算法Staple、SAMF、LCT、KCF、SRDCF、DSST进行对比.

3.1 实验装置及参数设置

实验环境为MATLAB R2018b,CPU为i7-3770处理器,内存8GB,64位的Windows10操作系统.

正则化参数λ设置为0.01,学习率η设置为0.025,对所有实验序列使用相同的参数设置.图像元胞大小设置为1×1,用图像灰度特征增强HOG特征,将固定的图像块大小设置为初始目标大小.其他的按DCF方法中的参数来构造HOG特征和颜色特征.

3.2 实验结果

在OTB-2013和OTB-2015基准数据集上进行实验,CHOG目标跟踪方法在精度和成功率方面的性能都较好.图3是部分视频跟踪效果比较.图4、5是在运行100个序列后的精度图,表1是各算法评价指标的精度对比,从图和表中可看出CHOG跟踪器在很多环境因素变化中优于其他跟踪器,下面从性能和效率上进行分析.

图3 各跟踪器效果比较Fig.3 Comparison of each tracker

图4 各算法属性跟踪精度和成功率对比Fig.4 Comparison chart of tracking accuracy and success rate of each algorithm attribute

(1) 在性能上，Staple、SAMF和LCT算法均以SRDCF为基线,能够有效缓解边界效应,且优于标准DCF.DSST采用了新颖的尺度算子,更好地融合了尺度特征.CHOG算法以简单的DCF和颜色特征为基准,上述策略和其他新技术也可以集成到该方法中进一步提高性能.从图4、5中可以看出,CHOG跟踪器的成功率和跟踪精度分别是0.785和0.858,SRDCF次之，成功率和跟踪精度分别为0.769和0.821.CHOG在目标跟踪中取得了较优异的性能,在背景杂乱、平面外旋转、形状变化、尺度变化等方面均优于其他算法.

图5 各算法评价指标对比Fig.5 Comparison chart of eualuation indexs of each algorithm

(2) 在效率上，由于CHOG算法为基于多特征的相关滤波跟踪器提供了较好的替代方案,提高了跟踪效率,其他具有多种特征的跟踪算法也可以从该方法中受益.从图5和表1可看出,CHOG跟踪器在处理目标快速运动和运动模糊方面的跟踪精度和成功率比较弱,都低于SRDCF跟踪算法,而在抗干扰方面其跟踪精度取得了最佳效果.总体上,CHOG跟踪器显示的结果与其他跟踪器具有可比性,并且在各种跟踪指标上均领先其他跟踪器.

表1 各算法评价指标的精度对比

4 结论

文中提出了融合双HOG特征和颜色特征的目标跟踪方法.通过构造双HOG特征并融合颜色特征，减少运动场景变化对目标跟踪的影响,在背景杂乱、平面外旋转、形状变化等方面获得了较好的鲁棒性，但在处理目标快速运动和运动模糊等方面性能相对较弱.下一步工作将采用深度特征,并尝试在实验中加入YOLO3、FastRCnn等跟踪算法,以减少快速运动和运动模糊的不良影响,提高跟踪性能.