习茜

(中国电子科技集团公司第二十研究所,陕西 西安710068)

目标跟踪算法是设计出一个鲁棒性高的跟踪算法需要应对各种不确定的因素,精确地预估目标位置。本文深度模型提取的视觉特征利用热力图模型进行挑选,挑选出在目标区域响应值最大的特征图。然后结合稀疏表示,对目标外观进行稀疏重构,将初次筛选的候选粒子与目标模版进行相似度匹配,从而预测出被跟踪目标的位置。

1 基于粒子滤波和稀疏表示的跟踪框架介绍

我们的特征图选择方法基于目标的热力图回归模型[1],利用VGG-16 网络[2]结构上第四层和第五层的最后一层卷积特征,然后将粒子滤波[3]生成的候选粒子输入第四层与第五层网络分别选取每层响应值最高的前5 个候选粒子,认为是可靠的候选粒子。将两层网络中的10 个可靠候选粒子使用基于局部的稀疏表示方法中加入颜色信息鲁棒的粒子验证算法进行粒子验证。

利用反向传播模型收敛进行模型参数的学习,对模型参数进行修正。固定参数后,根据特征图对损失函数的影响选择特征图,影响越大,说明特征越重要。首先将输入特征矢量化为一个向量,fi代表特征图第i 个部分向量。对热力图损失函数求二阶泰勒展开,公式如下：

其中,gi和hij分别是δl 的一阶和二阶关于特征图向量的偏导。在通过反向传播求得gi和hij后,特征图向量的重要性计算公式为：

其中,P 为位置(x,y)在特征图上所有特征向量的重要性之和。对δl 影响最大特征向量就是与目标最为相关的。

通过目标的热力图回归模型在Conv4_3 和Conv5_3 层特征上分别进行特征图挑选,在特征图挑选后,通过第一帧最小化平方损失函数：

基于最高层与较低层的特征属性的不同,各自具有优势,在每个卷积层根据热度值分别挑选前k 个最大的候选粒子,我们认为这些候选粒子是与目标最为相关的区域。

2 稀疏表示的视觉跟踪目标验证

Tian 等[4]人提出一种局部的稀疏表示[5]模型,将颜色表示机制融入局部的稀疏模型中,用候选粒子与目标模板之间的颜色相似性调节局部稀疏表示模型的候选粒子与目标模板的相似性度量,我们将此方法用于筛选候选粒子的验证。

2.1 稀疏生成模型

在初始帧,目标跟踪框分成K 个相互重叠的图像目标块,将图像块灰度值转化成矢向量y,图像目标块的矢向量通过字典D与稀疏表示系数β 线性表示:

其中,||·||1代表了L1范数,||·||2表示L2范数,λ 为平衡参数。

在求得稀疏系数β 后,我们将图像目标块对应位置将相应的稀疏系数排列成矩阵α,就可以表示完整的目标。

我们在跟踪阶段有个误差项ε,衡量外观上表达的退化,误差ε 若大于阈值,将该图像目标块通过一个指导项τ 置为0；其它情况下表示为1。

2.2 融合颜色信息的局部稀疏表示

颜色信息在目标的外观表达上有很重要的作用,在局部的稀疏表示模型中将CN 颜色信息加入目标外观的表达机制中。在融入颜色信息时,是将候选样本与目标模版对应局部块间通过哈希编码矢量距离进行颜色的相似度度量。

距离表示是基于Hamming 距离,Hamming 距离值为0 时,候选样本与目标模版对应局部块颜色相似度为1,其余情况下颜色相似度均为0.5。在目标跟踪中,相邻视频帧中目标不会有很大的变化,目标颜色几乎不变,将上一帧定位的目标颜色和初始帧的目标颜色共同加入到局部的稀疏表示模版中,进行候选样本与目标模版的对应局部块间颜色的相似度度量。

将颜色的相似度度量机制融入候选粒子与目标模版相似度计算中,公式如下：

T 表示通过深度特征挑选的候选粒子,St表示目标模版与第t 个候选粒子的相似度,在跟踪过程中将St最大的候选粒子作为跟踪目标。

3 跟踪模型的更新机制

为了避免更新过程中引入背景噪声,我们在第一帧初始化之后只更新第四层网络参数,固定第五层网络。为了提高区分目标与背景的能力,我们将中间帧中可靠的跟踪结果每20 帧对第四层网络进行微调,公式如下：

4 实验结果与分析

本章的数据库为OTB-100[6]中去除灰度视频序列的75 个彩色序列,我们称之为OTB-75。实验中我们选择FCNT、MEEM[7]、STRUCK[8]、TLD、SMS 五个经典的目标跟踪算法与我们算法Our(s)进行对比实验。

为了更加全面的对比分析算法性能,我们分别在OPE,TRE,SRE 标准下对重合精度和距离精度进行测评。我们用曲线下面积(AUC)表示跟踪算法效果,曲线下面积越大说明跟踪结果越好。实验结果图1 显示,Ours 算法在OPE 标准下的距离精度和重合精度明显优于其他算法。

5 结论

图1 多个方法在三种评价标准下的平均距离精度和重合精度

本文是基于全卷积深度特征对候选粒子进行筛选,选出与目标最为相关的可靠度最高的粒子与加入颜色信息的局部稀疏表示模版进行最小重构误差分析进行跟踪。实验结果表明OPE标准下的距离精度和重合精度明显优于其它算法。