张文明 侯建平 朱向东 李海滨 高雅昆 李雅倩

摘要：视觉目标跟踪在智能监控和人机交互等领域有着广泛的应用。该文针对时空上下文（sTc）跟踪算法尺度适应性不强的问题进行研究，提出一种尺度优化的时空上下文目标跟踪算法。首先，提出一种新型加权滤波函数，滤除图像的高频信息，提升算法的精度;其次，定义两种判别标准，实现时空上下文模型的自适应更新;最后，通过相关性原理训练尺度滤波器，估计出目标的尺度大小，提高算法的尺度适应性。实验表明：提出的跟踪算法能有效改善sTc跟踪算法的尺度更新缺陷问题，提高sTc跟踪算法的跟踪精度，与近年来出现的基本跟踪算法相比，该算法有着良好的跟踪效果。该算法在AMD-A6处理器、2.7GHZ主频、4GB内存的计算机硬件平台下，实现68f/s的实时跟踪速度。

关键词：目标跟踪;时空上下文;尺度优化;滤波函数

中图分类号：TP391.4文献标志码：A 文章编号：1674-5124（2019）04-0001-08

0引言

基于视觉的目标跟踪是计算机视觉研究领域中的一个重要课题，它被广泛应用到智能交通、运动分析等领域。虽然近年来目标跟踪技术取得了良好进展，但是仍然面临着尺度变化、光照变化、部分遮挡等挑战，因此设计出一种可以解决这些问题的跟踪器显得尤为重要。根据目标的外观模型，可以将现有的跟踪方法分成判别式跟踪方法和生成式跟踪方法两类。其中，生成式跟踪方法主要是通过建立的表观模型找到与其相似度最大的区域来确定目标，而判别式跟踪方法是借助训练出的分类器隔离出目标和背景区域从而确定目标位置。

近年来，相关滤波器的目标跟踪算法表现出良好的跟踪性能，这些算法利用均方误差模型所建立的分类器学习滤波模型，通过响应评分的峰值预估出目标的位置，并且在跟踪期间通过傅里叶变换来提升处理速度。相关滤波的目标跟踪方法作为一种判别式跟踪方法，逐渐由最初的基于最小均方误差和滤波器的跟踪（MOSSE），和基于核循环矩阵的跟踪方法（CSK）逐步发展为多模板、多特征的跟踪方法。

相关滤波理论提出之后，Zhang等结合贝叶斯估计理论提出了高速的时空上下文（sTC）跟踪方法，这种方法是一种生成式跟踪算法，它将目标周围的上下文信息考虑在内，利用目标在上下文区域各位置的置信图估计出目标的最佳位置，该方法不仅跟踪速度快，而且加入了尺度更新机制，但是尺度的自适应性并不强;随后，刘威等在STC跟踪器的基础上加入了类似于中值流跟踪算法的运动估计模块，有效避免了跟蹤目标丢失的情况;文献[11]和文献[12]建立了相应的遮挡判别机制，利用峰值旁瓣比（PSR）判断目标跟踪是否失败，有效提升了STC跟踪器的抗干扰特性;Jiang等在STC跟踪器的基础上利用多特征融合后的置信图求取目标的预测位置，并且采用元细胞动机理论更新不同特征对应的置信图，实现了鲁棒性跟踪效果。尽管近几年的这些算法有效提升了STC算法的跟踪精度，然而这些方法并没有优化尺度更新策略，对目标尺度不断变化的序列处理效果仍然不佳。鉴于目前大多数算法存在忽略尺度变化的问题，文献[14]和文献[15]陆续提出了一系列尺度更新方案，一定程度上解决了尺度自适应问题，但这些算法的稳定性和实时性较差。

本文针对STC跟踪器尺度估计不准确问题，结合相关性理论提出一种尺度优化的时空上下文目标跟踪方法。首先对图像序列进行预处理滤波滤除图像的高频信息，然后利用提出的判别条件实现时空上下文模型的自适应更新，最后按照文献[9]的跟踪流程实现目标的位置估计。此外，本文通过尺度金字塔估计目标的尺度大小，优化了原有的尺度更新策略，有效减少了由于尺度适应性不强造成目标丢失的情况。

1.STC跟踪器

STC跟踪算法主要是利用可以反映目标位置的概率（目标位置似然的置信图）来实现整体的跟踪过程。假如x表示目标搜索区域内任意位置，o为需要跟踪的目标，X*为目标中心位置，Ωc（X*）为目标的上下文搜索区域，则目标在X处出现的概率为

sTc跟踪器利用目标的上下文信息有效提高了跟踪的效果，但依然存在问题：式（9）表明时空上下文模型的更新是无条件的，忽略了运动期间目标静止不动等情况;跟踪前的预处理滤波工作并不彻底;尺度估计依赖于置信图，一旦置信图求解出错，算法将无法正确估计出目标的尺度大小。

2尺度优化的时空上下文目标跟踪

本文针对以上问题，对文献[9]提出的跟踪方法加以改进，图1给出了本算法的基本流程图。流程图显示，本算法整体的跟踪过程包括位置估计、尺度估计两部分，本文首先利用sTc跟踪框架确定目标的位置，然后利用求得的位置构建尺度特征金字塔估计出目标的尺度。

2.1位置估计

位置估计期间利用傅里叶变换可以显著改善处理速度，但会对图像边缘产生一定的影响，引起频域泄露现象。因此，傅里叶变换之前采用一种加权滤波函数，过滤掉这些高频信息，如式（11）。实际上，这种加权滤波函数完全可以看成一种低通滤波器。

由于图像的预处理过程直接对算法的置信图产生影响，对此可以通过置信图评判该方案的优劣性。以basketball为例，图2为预处理滤波后算法和原算法的置信图每一帧的峰值数据曲线，图3为该序列对应的中心位置误差对比曲线（中心位置误差的定义在后续实验部分进行了说明）。图4跟踪效果对比图曲线显示500帧以后，原算法的目标中心位置误差达100像素以上，很明显发生目标丢失的情况;同样此时置信图的峰值波动也比较明显，图给出了相应的跟踪效果图。效果图显示485帧时目标靠近到其他物体附近，此帧后目标逐步跟丢;而进行图像预处理滤波之后目标框体并未发生漂移，一直跟随物体运动，和原算法的处理方案相比有着良好的跟踪效果。

常规模型更新由于没有考虑到置信图的能量变化，不具备一定的判别性，因此需要对其更新策略加以优化，实现模型的自适应更新，且文献[5]和文献[17]已经通过判别标准PSR取得了良好的跟踪效果。对此，本文提出干扰判别标准δ1、δ2用于优化时空上下文模型的更新策略，如式（12）、式（13）所示：

为了评估尺度优化对文献[9]跟踪效果的影响，验证本文提出的尺度优化的跟踪方法的有效性，将只改进尺度估计部分的算法定义为多尺度时空上下文目标跟踪算法（s-STC），将本文最终算法定义为尺度优化的时空上下文跟踪算法（s-WWSTC）。

3实验评估

3.1实验环境

实验的硬件環境为AMD-A6处理器，主频为2.7GHz，内存4GB配置的计算机，算法的开发平台为Matlab R2014a。实验测试序列来源于标准跟踪数据集VOT、benchmark，视频序列中包含了目标跟踪当中常见的挑战性场景，包括光照变化、运动模糊、快速运动、目标遮挡、尺度变化等情况。

3.2评价标准

实验采用文献常见的评估标准对算法性能进行测试。这些评估标准包括中心位置误差CLE（实际的目标中心位置坐标与人工标定坐标之间的欧式距离，该值越大，跟踪效果不好）、距离精度DP（CLE小于设定阈值的视频帧数与图像序列总帧数的比值，DP值越大，跟踪效果越好）、重叠率OR（跟踪获得的目标区域与人工标定目标区域交集和并集的面积比，OR越大，跟踪效果越好）、成功率SR（OR大于设定阈值的帧数与图像序列总帧数的比值，SR的高低反应了跟踪性能的优劣）。此外，以每秒处理视频的帧数（f/s）来评估各跟踪算法的跟踪效率。

3.3实验结果与分析

为了验证本文位置估计部分提出的WWSTC算法较STC算法相比有着较好的跟踪性能，本文选取了公开数据集中的14个视频序列，它们包含了光照变化，遮挡，尺度变化，杂乱变化等干扰。由于WWSTC是在位置估计部分对原算法进行改进，进而主要影响着CLE、OP两种指标。表1给出了STC，WWSTC两种算法的CLE对比结果（由于STC跟踪器的尺度适应性不强，从而导致Women，RedTeam，Tunnel3个序列跟踪出错，无法计算出最终的结果，文中采用S-STC算法求得的数据代替，在表中用括号表示），相应的距离精度对比结果如图5所示（此时的阈值固定为20个像素）。

结果显示，WWSTC算法较原有的STC跟踪器相比在各类视频中取得了良好的跟踪性能，平均中心位置误差比STC算法减少了26.63个像素（其中BlurFace序列的中心位置误差由原来的112个像素减少到5.82个像素值，basketball序列由74.9个像素减小到8.7个像素）。

为了证实尺度估计部分对算法的影响，同样选取上述视频序列，将S-STC算法、WWSTC算法、最后的S-WWSTC算法与STC算法进行对比实验。由于算法中的尺度估计与位置估计两部分相互独立的，因此尺度部分主要影响着跟踪的重叠率和成功率。图6给出了这四种算法在测试视频序列中的重叠率和成功率对比结果（鉴于STC算法在个别视频中效果较差，导致跟踪期间跟踪窗体消失，无法计算出women、RedTeam、tunnel序列的重叠率和成功率;WWSTC算法虽然一定程度上提升了跟踪效果，对于RedTeam序列仍然出现跟踪出错的情况。因此图6中women序列为3个颜色条，RedTeam为两个颜色条，tunnel为3个颜色条）。由此可见，不仅S-STC算法改善了STC跟踪器的跟踪重叠率和成功率，而且提出的S-WWSTC算法进一步提升了WWSTC算法的跟踪性能，足以体现本文尺度优化算法的优越性。综合以上位置估计和尺度估计的对比实验，可以证明，本文提出的S-WWSTC算法明显提高了STC算法的跟踪效果。

为了进一步评估算法的整体性能，选取近年来出现的4种方法CSK、TLD、CT、ST和本文最终的S-WWSTC算法进行比较，图7给出了这些算法在部分具有代表性的图像序列的跟踪结果。图7（a）中的目标存在快速运动、旋转、光照变化等情况，只有本文算法和CSK算法一直准确跟踪到目标，其他算法均出现漂移现象;图7（b）出现背景相似和遮挡情况，本文算法始终能够跟踪到图中的易拉罐，并且能够准确适应目标的尺度变化;图7（c）中的目标姿态发生明显变化，除了本文算法，其他算法均出现了明显的漂移现象。

图8给出了上述视频集中5种算法的精度及成功率对比曲线。曲线显示，本文算法较其他算法相比有着较高的距离精度和成功率。

为了体现本文算法的跟踪效率，在AMD-A6处理器、2.7GHz主频、4GB内存的计算机硬件平台下，对上述5种算法进行了仿真对比。表2为这些算法的平均速度对比结果。数据显示，虽然本文提出的算法虽然速度上与STC跟踪器、CSK跟踪器相比略有不足，但68f/s的平均跟踪速度足以满足实时跟踪的需要。

4结束语

本文针对原有STC跟踪器尺度适应能力不强的问题，提出了自适应尺度的目标跟踪方法，使得该算法对尺度变化的运动目标具有更强的适应能力，有效提高了跟踪的准确度和成功率。首先，通过对图像序列进行预处理滤波，滤除图像的高频信息量;其次，利用干扰判别条件优化时空模型的更新策略，实现模型的自适应更新;此外，利用相关性原理构建尺度金子塔，实现目标的尺度自适应。实验表明，本算法在目标发生尺度变化、光照变化、姿态变化、部分遮挡、旋转及快速运动等复杂情况下均能获得良好的跟踪效果。本算法在AMD-A6处理器、2.7GHz主频、4GB内存的计算机硬件平台下，实现了68f/s的实时跟踪速度。