APP下载

基于级联检测的相关滤波跟踪算法研究

2018-08-21郑亮何小卫

计算机时代 2018年6期
关键词:目标跟踪实时性检测器

郑亮 何小卫

摘 要: 经典相关滤波跟踪算法KCF,在目标发生严重遮挡和丢失后重现等情形时容易产生漂移。本文提出一个新的算法,在KCF跟踪算法产生漂移时,设计级联检测器重新检测目标位置,更新KCF滤波器模型以实现重新跟踪。为了验证该算法的有效性,与传统相关滤波算法KCF、CSK以及其他优秀的目标跟踪算法Struck,TLD,MIL,CT等进行了对比,结果表明,该模型可以显著地提高跟踪器的跟踪效果。尽管该模型引入检测器,对算法的速度有所影响,但算法仍能保证足够快的运行速度而不影响目标跟踪的实时性。

关键词: 目标跟踪; 相关滤波; 检测器; 实时性

中图分类号:TP37 文献标志码:A 文章编号:1006-8228(2018)06-09-05

Correlation filter tracking algorithm based on cascade detection

Zheng Liang, He Xiaowei

(College of Mathematics, Physics, and Information Engineering, Zhejiang Normal University, Jinhua, Zhejiang 321004, China)

Abstract: The classical correlation filter tracker KCF is easy to drift when the object has been seriously occluded and out of view. In this paper, a new algorithm is proposed with a cascade detector to re-detect the object position and update the KCF filter model when KCF produces drift. In order to verify the effectiveness of the algorithm, it is compared with the traditional correlation filtering algorithms KCF, CSK and the other excellent algorithms Struck, TLD, MIL, CT etc. The experimental results demonstrate that the proposed tracker can remarkably improve the precision and success rate on the challenging benchmark. Although introducing the detector into the model, it can still run fast enough to keep real-time.

Key words: object tracking; correlation filter; detector; real-time

0 引言

目标跟踪技术是计算机视觉领域中的重要研究课题。目标跟踪是对视频序列图像帧进行检测、分类和分析,通过计算图像帧中所标定目标在每一帧图像上的二维坐标位置,然后将连续图像帧的同一目标所处位置连接起来,得到运动目标运动轨迹。目标跟踪在人机交互、机器人、无人驾驶以及智能监控等[1]领域有非常重要的研究价值。

在目标跟踪算法中,模型实现跟踪的思想大都是基于tracking-by-detection 框架[2],将目标跟踪问题看成检测问题,然后对检测到的目标建模。Kalal. Z等人提出的TLD[3]传统跟踪算法,模型采用光流法和检测算法,同时,采用跟踪器与检测器并行更新的方式实现目标跟踪,但TLD受限于基准滤波器和分类检测器的能力,对目标再现和旋转较为敏感。

基于判别式模型的思想是将跟踪问题看成一个二元分类问题,找到能够区分目标和背景的最优分类决策,最大程度地将目标区域与非目标区域标记并分类,从而实现对候选区域中目标的判定,Zhang K等人将压缩感知引入到目标跟踪中CT[4],同时利用稀疏测量矩阵进行特征提取并建立目標表示模型,其跟踪速度达到64FPS;Hare S等人基于结构化输出SVM提出了目标跟踪算法Struck[5],同时利用核化的SVM直接输出结果,满足实时性要求;基于判别式模型的目标跟踪算法性能主要取决于分类器的判别性,因此,更好地利用训练样本得到更精准的分类器是此类算法研究的主要方向,而相关滤波的出现,使得跟踪分类器整体性能得到提升。

自2010年S. Bolme等人首次在跟踪领域引入相关滤波提出了MOSSE [7],相关滤波跟踪算法[7-9]相继出现;2012年 J. Henriques等人提出了CSK[8],采用循环矩阵的方式进行密集采样,得到在训练滤波器阶段所需要的更多负样本,如此更好地适应和表达在不同场景中目标位置的变化,同时利用循环矩阵可对角化的性质,在频域内快速地训练分类器保证算法的实时性,在精度提升到54.5%的同时仍保持189FPS的速度;2015年,J. F. Henriques等人在CSK[8]基础上提出了KCF[9],利用 HOG算子进行特征提取,采用核技术将线性不可分的问题映射到核空间,从而快速地训练线性分类器。

1 相关滤波跟踪

在KCF跟踪器中,选取以目标为中心,大小为m*n的矩形区域提取训练样本x,利用岭回归函数f(x)=ωTx进行线性分类器的训练xi(i∈{0,1,…,m-1}×{0,1,…,n-1}),训练过程中是将训练样本x的所有循环位移图像块作为训练样本,进行特征提取,同时对应的目标数据用一个高斯函数yi来描述。

模型训练目的是为优化以下的目标函数:

其中λ1正则化系数,根据文献[9]可以得到ω线性组合形式:

其中α是系数,表示的是原空间到希尔伯特(Hilbert)特征空间的映射。采用核函数求解目标函数,达到提高滤波器的效果。其中,x'是更新累积样本。

根据文献[7]的理论推导,采用正则化最小二乘(RLS)分类器模型同时利用核函数,将原滤波器目标函数改写成:

因此,公式⑸可以利用循环矩阵可对角化的性质和傅里叶变换,通过核化正则最小二乘法(RLSC)得到最优解:

其中核函数采用的是高斯核,计算公式为:

在新一帧图像输入中,获得新的候选窗口图像块z进行目标检测,分类器的输出响应计算值为:

从公式⑿中,可以看出,相关滤波应用于跟踪中,仅需更新优化目标函数中的滤波器参数α和累计样本x',采用线性更新方式:

其中η为学习因子,t是当前帧图像索引,是图像样本,滤波器参数。

2 级联检测相关滤波目标跟踪算法

由于现实生活中采像设备固定的原因,某区域内目标消失后再次出现的现象非常普遍;目标在光照变化情况下也会发生很大变化;以及移动过程中发生的不同程度的旋转都给目标跟踪带来很大挑战。针对此,在原相关滤波算法的基础上引入检测器,在处理目标消失或者旋转等挑战时,能够利用级联分类器重新检测到目标位置,进而更新基准滤波器重新进行目标跟踪。本文检测器采用级联分类器的方式,级联分类器通过随机蕨分类器和最近邻分类器实现目标的重新检测。

2.1 级联分类器

机器学习中,一个随机蕨分类器,类似于随机森林。对于两者之间的区别在于,随机森林中对每层树的节点判断标准不同,而随机蕨中每层蕨的判断标准一致。如图1所示。

图1中所示,a是树状结构,图1b是蕨结构,图1c是蕨结构又可以改写成线性结构。

随机蕨分类器的工作原理是根据样本的特征值进行判断从而进行分类处理,使用多个蕨分类器进行同一个样本处理时,很大程度上能够提升分类器的准确度。

2.2 最近邻分类器

采用最近邻分类器的方式在目标周围选取目标位置,减少目标检测搜索区域,从而降低计算复杂度,提高算法实时性。

通过计算样本之间的相似度值进行判断,如果相似度大于阈值则认为是正样本,相似度值的表达方式是:

其中Ix和Iy表示图像patch的相似度,δ是规范化系数,因此,S的取值范围在[0,1]之间。正、负样本的最近邻相似度计算方式不同,可以分别写成:

则相对相似度通过式,可求得:

S'=S+/(S++S-) ⑽

2.3 级联检测器

不同于先前基于检测的跟踪器[4]采用回归模型的方式作为检测器,KCF-CD利用级联分类器的方式作为检测器,从而降低了模型的计算复杂度。采用连续帧更新策略训练一个在线随机蕨检测器,假定表示样本标记的指示向量,bj,j∈{1,2,…,N}表示二进制特征的集合,如图3.1所示,即所有蕨检测器特征的联合分布:

其中表示第k个蕨检测器,σ(k,n)是从1到的随机置换矩阵。

对于每一个蕨检测器的条件概率可以写成:

其中Nk,li表示的是第蕨检测器中类的训练样本,指的是所有训练样本。利用贝叶斯公式对类的目标检测,优化函数可得到:

算法思想:如图2所示,主要利用核相关滤波器KCF作为基准滤波器,进行目标跟踪,输出KCF滤波器跟踪结果。对跟踪结果进行评估,若大于设定阈值σ,与KCF滤波器跟踪过程相同,仅更新相关滤波器的相关参数,继续下一帧目标跟踪;若小于设定阈值σ,利用检测器中的各级分类器,重新进行目标检测,找回目标更新基準滤波器,继续下一帧目标跟踪。

3 实验结果分析

在CVPR-2013[9]中,评价目标跟踪算法的度量有:跟踪精确度(Precision)、成功率(Success Rate),以及实时性要求,即每秒处理帧数(FPS)。通过算法在数据集生成的精度和成功率曲线图,以及FPS,来进行算法性能的比较。

⑴ 跟踪精度

精确度图在跟踪精度评估中,一个被广泛使用的标准是中心位置误差(Center Location Error, CLE),其被定义为跟踪目标的中心位置和标定真实目标的准确位置(ground-truth)之间的平均欧氏距离:

其中(xc,yc)表示测试算法预测跟踪目标框的中心位置坐标,(xgt,ygt)表示标定真实目标的准确位置坐标。精确度图能够显示出评估的位置在给定的准确值的阈值距离之内的帧数占总帧数的百分比。对于每个跟踪器具有代表性的精度评分,一般阈值选取为20像素。

⑵ 成功率

成功率表示的是跟踪算法的目标框与真实标定的目标区域重叠率大小。其中,测试算法预测的跟踪目标框为rc与真实跟踪目标框rgt之间的重叠率(Overlap Rate):

其中:∪和∩分别表示测试目标框与真实目标框之间相交和合并的区域面积。成功率图给出了此阈值从0到1变化时成功帧所占的比例。使用某一特定阈值(比如t0=0.5)下的一个成功率来评估跟踪器可能并不公平或其具有代表性。此时,采用每一个成功率图的曲线下面积(Area Under Curve, AUC)作为替代,用于给跟踪算法进行排序。

⑶ FPS

在实际生活以及工业应用方面,算法的实时性一直作为非常重要的评判标准来检验模型的性能。在视觉跟踪领域国际顶级赛事Visual Object Tracking Challenge (VOT) 2016后, FPS也作为评估跟踪算法的一个重要标准,FPS指的是跟踪器对于处理整个图像序列平均速度-即每秒处理的帧数。

3.1 实验结果定量分析

表1是KCF-CD和其他优秀跟踪算法的比较效果。KCF-CD模型很好地解决了KCF在形变和目标位于跟踪框位置产生的跟踪漂移现象,同时,对于目标运动导致的目标模糊都有很好的鲁棒性。在具有尺度变化目标运动导致的目标模糊等挑战的视频帧中,如:Blur-Owl、Couple、Girl等图像序列,KCF的跟踪效果分别是:22.8%/102.2 FPS,25.7%/247.6FPS,86.4%/232.2FPS,KCF-CD的跟踪效果分别是:89.1%/9.3FPS,75.3%/38.42FPS,100%/21.3FPS。从上面具体实验数据分析可以看出,模型KCF-CD通过结合检测器的方式,有效地解決了KCF在目标丢失后重现以及严重遮挡所带来的跟踪效果不好甚至产生漂移的现象,如:Jogging-1,2, 等图像序列,KCF的跟踪效果分别是:23.5%/229.59FPS,16.3%/115.3FPS。KCF-CD的跟踪效果分别是:97.1%/23.84FPS,97.4%/23.4FPS。数据结果论证了KCF-CD在处理形变等情况下也有较好的鲁棒性。在跟踪精度得到提高的同时,本算法以牺牲部分速度为代价,但是KCF-CD仍能保证目标跟踪的实时性要求。

3.2 实验结果定性分析

图3是跟踪算法KCF-CD与其他优秀跟踪算法KCF,CSK,Struck,MIL,TLD,CT在OTB数据集视频中跟踪表现对比。

如图3,几种优秀的目标跟踪算法(KCF[9],CSK[8],Struck[5],MIL[6],TLD[3],CT[4])在数据集CVPR-2013/OTB-100[10][11]中的Tiger、Jogging、Doll和Basketball视频序列比较结果,其中,提出的跟踪算法KCF-CD(红色框)有较好的跟踪表现。

图4是提出的跟踪算法KCF-CD与其他优秀跟踪算法KCF,CSK,Struck,MIL,CT,TLD在CVPR-2013, OTB-100数据集的结果比较。

如图4,当跟踪精度图(Precision plots of OPE)设置位置错误阈值(Location error threshold)为20和成功率(Success plots of OPE)图设置重叠区域阈值(Overlap threshold)为0.2时,算法在数据集CVPR-2013、OTB-100上的表现优于基准滤波器和其他优秀算法。

根据图5所示,分别为四种跟踪挑战:目标离开视野(out of view)、遮挡(occlusion)、快速移动(fast motion)、形变 (deformation)情形下成功率表现,可以看出,算法相比于其他优秀算法在处理遮挡、目标消失后再次出现和非刚性物体形变时有着最好表现。

4 结束语

本文算法仅针对单个目标进行跟踪,但在实际生活应用场景中,需要实现多个目标跟踪跟踪。因此,基于相关滤波的多目标跟踪算法设计,同时解决目标遮挡、尺度变化等跟踪挑战,是接下来研究工作的一个方向;神经网络结构的特征提取方式将目标跟踪提升到很高精度,基于此类方法,结合相关滤波算法的高速优势,提升跟踪的整体效果也是接下来工作的一个主流方向。

参考文献(References):

[1] Cannons K. A Review of Visual Tracking[J]. Dept.comput.

sci.eng,York Univ,Toronto,Canada,Tech.Rep.CSE-2008-07,2008.

[2] Avidan S. Support Vector Tracking[C].CVPR, 2001:

184-191

[3] Kalal Z, Mikolajczyk K, Matas J. Tracking-

Learning-Detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2012.34(7):1409

[4] Zhang K, Zhang L, Yang M H. Real-Time Compressive

Tracking[C],ECCV. Springer-Verlag,2012:864-877

[5] Hare S, Saffari A, Torr P H S. Struck: Structured output

tracking with kernels[C].ICCV,2012:263-270

[6] Babenko B, Yang M, Belongie S J, et al. Robust Object

Tracking with Online Multiple Instance Learning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2011.33(8):1619-1632

[7] Bolme D S, Beveridge J R, Draper B A, et al. Visual object

tracking using adaptive correlation filters[C].CVPR,2010:2544-2550

[8] Henriques J F, Rui C, Martins P, et al. Exploiting the

Circulant Structure of Tracking-by-Detection with Kernels[C].ECCV, Springer-Verlag,2012:702-715

[9] Henriques J.F, Rui. C, Martins. P, et al. High-Speed

Tracking with Kernelized Correlation Filters[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2015.37(3):583-596

[10] Y. Wu, J. Lim, and M.-H. Yang. Object tracking

benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015.37(9):1834-1848

[11] Y. Wu, J. Lim, and M.-H. Yang. Online object tracking:

A benchmark[C].CVPR,2013:2411-2418

猜你喜欢

目标跟踪实时性检测器
基于规则实时性的端云动态分配方法研究
基于虚拟局域网的智能变电站通信网络实时性仿真
车道微波车辆检测器的应用
航空电子AFDX与AVB传输实时性抗干扰对比
多视角目标检测与跟踪技术的研究与实现
基于改进连续自适应均值漂移的视频目标跟踪算法
空管自动化系统中航迹滤波算法的应用与改进
基于车牌识别的机混车道视频测速算法
一种车载Profibus总线系统的实时性分析
一体化火焰检测器常见故障分析