杜 君, 孟夏莹, 顾丹丹, 许祯瑜, 刘 健

(1.上海无线电设备研究所,上海 201109;2.上海卫星工程研究所,上海 201109)

0 引言

近年来,基于判别相关滤波器(discriminative correlation filter,DCF)的方法在跟踪基准测试的准确性和鲁棒性方面表现出持续的性能提升。基于DCF的跟踪算法一般是基于多维特征、鲁棒性尺度估计、非线性内核、长期内存组件,或通过建立复杂的学习模型及减少边界效应来实现的,但这些改进明显降低了跟踪速度,无法满足目标跟踪的实时性要求。近几年,卷积神经网络(convolutional neural networks,CNN)深度特征也被应用到基于判别相关滤波器的算法中,但高维参数空间容易过度拟合,且高维度将导致计算复杂度增加,跟踪速度变慢,同样无法满足目标跟踪的实时性要求。

为了在提升无人机对地面运动目标跟踪精度的同时保持一定的实时性,本文提出了基于改进相关滤波器和目标多特征融合的运动目标跟踪算法。通过提取梯度方向直方图(histogram of gradient,HOG)特征、三维颜色(color names,CN)特征和CNN深度特征等多维特征,对各特征进行选择性组合并融合,实现对目标的有效表征。其中,梯度方向直方图特征对几何和光学形变具有良好不变性;相对于一维灰度特征,三维颜色特征包含更加丰富的目标信息,且具有运动方向不变性,在快速运动、快速变形情况下跟踪效果较好,并且没有边界效应;卷积神经网络浅层的深度特征能较好地表征目标的轮廓信息,高层的深度特征能较好地表征目标的语义信息。

1 算法原理

1.1 算法流程

基于改进相关滤波器和目标多特征融合的运动目标跟踪算法流程如图1所示。首先从输入图像中的目标局部搜索区域提取目标多通道特征,在初始帧中初始化空间可靠性图,基于空间可靠性图对相关滤波器进行改进,自动估计的空间可靠性图将相关滤波器限制在适合于跟踪的部分,以改善不规则形状目标的搜索范围和跟踪性能;然后利用线性降维算子矩阵,减少模型中的参数数目,训练样本分布的紧凑生成模型,降低空间和时间复杂度,提供更好的样本多样性;最后用改进的相关滤波器与提取的特征进行响应,确定目标跟踪框的位置。相关滤波器、样本和空间可靠性图通过相应规则不断优化更新。

图1 跟踪算法流程图

1.2 提取样本特征

根据上一帧确定的目标中心位置确定当前帧的局部搜索区域,提取目标局部搜索区域中的目标多通道特征,将提取的多通道特征存储于一个元胞数组中,进而用于训练,得到每个特征通道相应的相关滤波器。将各个通道特征与相应滤波器的响应分数的加和作为最终预测目标位置的响应分数。同一帧图像提取的3种特征的某一通道的特征图如图2所示。

图2 同一帧图像提取的3种特征的某一通道的特征图

式中:J{}为一个内插特征层,可看作是一个连续的周期函数,表示特征图的周期扩展,其中为第个特征通道的训练样本;1,2,…,,表示第帧;b为一个周期为的插值核,且满足＞0。本文用{}={J{}}表示整个插值特征映射,其中{}()∈,相应的滤波器记为={f},其中f为第个特征通道对应的相关滤波器。

1.3 构建空间可靠性图

本算法基于空间可靠性图,使最后学习到的相关滤波器参数只集中在置信分数高的区域,即目标区域,其他区域几乎为0,可有效抑制背景信息。

大多数的相关滤波器都假定有独立的特征通道。在学习阶段通过最小化损失函数,即通道相关输出与期望输出∈()之间差的平方和,来获得最佳滤波器。最小化损失函数等价关系遵循帕斯瓦尔(Parseval)定理,即

式中:argmin(·)为最小化函数;* 为卷积运算符;‖·‖ 为范数运算符;算子=vec(())是一个转换成列向量的傅里叶变换;diag(·)为对角矩阵;H为厄米特转置运算符;0.01为正则化参数。通过把式(2)中每个通道的梯度复杂度均衡到零,最小化公式得到封闭形式的解决方案。由于输入循环假设,并假设所有像素对滤波器学习的可靠性相同,使该解决方案受到边界缺陷制约。因此,引用一个有效的空间可靠性图构造方法,得到一种新的空间约束相关滤波器学习框架。

空间可靠性图的组成元素∈{0,1}表示每个像素的学习可靠性。像素与目标外观有关的条件概率(=1|,)被指定为

式中:(|=1,)表示外观模型似然度,通过贝叶斯规则从目标前景-背景颜色模型(其在跟踪期间被保持为颜色直方图)中计算得到;(|1)表示空间先验概率;(1)表示前景和背景直方图提取的区域面积的比率。中心元素可靠性的变形不变性在此方法中通过定义弱空间先验而得到强化。弱空间先验定义为

式中:(;)是一种改进的Epanechnikov内核。定义(;)1(/),其中为尺寸参数,表示小包围框轴,取值区间为[0.5,0.9]。设目标在中心的先验概率为0.9,可将远离中心的像素概率转换为统一的先验概率。

标记空间可靠性图的空间一致性,可通过将式(3)作为马尔可夫随机场中的一元项来实现。使用有效的求解器计算的最大后验解,可得到目标后验概率。空间可靠性图的构建过程如图3所示。图3(a)为跟踪目标边界框的训练原图,图3(b)为在马尔可夫随机场优化中作为一元项使用的空间先验概率,图3(c)为根据前景-背景颜色模型得到的目标对数似然,图3(d)为经马尔可夫随机场正则化后的目标后验概率二值化空间可靠性图。

图3 空间可靠性图的构建

1.4 基于空间可靠性图改进相关滤波器

为了符号清楚起见,假定只有一个特征通道,即1,并且丢弃通道索引。因为滤波器学习在通道上是独立的,则简化后的目标函数为

式中:⊙为同或逻辑运算符。空间可靠性图标识了在学习中应忽略的滤波器中的像素,即引入约束≡⊙。

引入对偶变量(它的主要作用是让算法能够收敛)和约束条件⊙≡0,根据Augmented Lagrangian方法构建增广拉格朗日表达式,并通过乘子交替方向法迭代最小化。最终得到的空间约束滤波器

1.5 基于卷积算子分解的特征降维

根据上一帧确定的目标中心位置确定当前帧的局部搜索区域。已知插值特征映射和相应的滤波器表达式,两者通过卷积计算就可得到预测目标位置的响应。预测目标位置的检测分数

采用最小化损失函数来学习滤波器,可将式(2)改写为损失函数

式中:α≥0为样本x的权重;y为样本x的标记检测分数,是周期重复的高斯函数;为空间惩罚项,用来缓解周期假设的缺点,允许扩展空间支持,是的函数;‖·‖为空间的2范数。定义为

式中:()表示一个周期函数;为周期。

式(10)的最后一个等式是由卷积的线性关系推导得出的。卷积分解还可以被看作以下两步运算:在第帧上的特征向量{}首先乘以的转置矩阵,得到的维特征图再与滤波器进行卷积。因此矩阵类似于线性降维算子,从维特征滤波器到维特征滤波器降低了线性复杂度。

根据式(8),通过最小化式(10)的损失函数来一起学习矩阵和滤波器。本文使用高斯-牛顿(Gauss-Newton)法和共轭梯度法来学习矩阵和滤波器。

本算法从第一帧设置学习矩阵,并在之后的跟踪中保持不变。学习过程中,只有投影的特征映射{}需要存储,从而显著节省内存。为了保持跟踪器的鲁棒性,采用主成分分析(principal component analysis,PCA)方法初始化系数矩阵。

1.6 构建紧凑的样本空间模型

经过测试,如本算法在每一帧中收集新的样本,会产生样本的大量冗余,导致跟踪效率降低。为了既能减少因外观上的缓慢变化导致的样本大量冗余,又能较全面地描述外观的变化,引入一个紧凑的样本集模型。

将训练数据建模为高斯分量的混合体,其中每个组件代表外观的不同方面,实现紧凑而多样的数据表示,从而降低过度拟合的风险。

此方法是基于样本特征映射和相应的期望输出的联合概率分布(,)。给出(,),直观的目标是找到可以最大限度地降低预期的相关误差的过滤器。替换式(8),将损失函数进一步完善为

式中:(·)为数学期望。损失函数用样本联合概率分布(,)进行评估,表达式为

式中:α是权重系数;δ(·)是在训练样本和期望输出(x,y)处的冲击响应函数。式(8)的原始损失函数是通过估计样本分布而得到的一个特例。α通常设置为指数衰减,由学习率控制,满足α～(1-)。学习率决定了目标函数能否收敛到局部最小值,以及何时收敛到最小值。由实验可知,当0.025时,损失函数能够最快收敛到最小值。而提出估计样本分布(,)的紧凑模型,可以使式(11)的损失函数得到更有效的近似。

样本和其期望输出是一一对应的,输出的形状符合峰值在目标中心的高斯分布。因此,可以假设目标位于图像区域中,高斯分布峰值输出假设为,通过移动使所有都是相同的。不变,改变的值,使峰值平移量体现在水平分量上。此时,样本分布可以被分解为(,)()δ(),其中δ()表示单位冲激函数。现在只需要估计()。应用高斯混合模型(Gaussian mixture model,GMM)估计(),表达式为式中:是高斯分量的数量;π是第个分量的优先权重;(;μ;)是GMM定义的高斯分量,其中μ∈是第个高斯分量的平均数,是恒等矩阵形式的协方差矩阵。协方差矩阵被设置为恒等矩阵,避免了高维样本空间中的代价推断。

利用Declercq和Piater在线算法的一个简化版本更新GMM。每次新增一个样本,初始化一个新的分量(;μ;),且权重π=γ,平均数μ=x。如果分量的数量超过事先设定的上限,则需要简化GMM。若分量的权重低于设定门限,这个分量将被舍弃;否则,合并最近的两个分量和为一个共同的分量。分量的权重π和平均数μ为

式中:π,π分别为分量和的权重;μ,μ分别为分量和的平均数。

在傅里叶域使用Parseval公式快速计算分量和之间的距离 ‖μ-μ‖。此时,式(11)可近似为

与式(8)比较,式(15)在复杂度上的主要区别是样本的数量由原来的减少到。在实验中,将分量的数量设置为/8,具体仿真参数设为400,50。样本分布模型(,)结合1.5节的卷积分解,通过用映射样本{}替换样本,使计算复杂度进一步降低,从而提升跟踪速度。这种映射不影响公式形式,因为矩阵在第一帧进行学习后,在之后的跟踪中保持不变。

1.7 更新策略

式中:η为学习率。

无人机航拍图像中会出现目标过小,颜色与周围环境分辨不明显,外观形状模糊的问题。当目标被相似颜色物体遮挡时,如果每帧都更新空间可靠性图,会因为临近图像帧样本过度形似而产生样本的过度拟合。经过大量的实验发现,当空间可靠性图每隔3帧或6帧更新一次时,跟踪效果更好。

利用共轭梯度法更新滤波器和降维矩阵增量。如果滤波器模型更新在每一帧进行,计算数据量将偏大,计算负载将过重。本算法采用稀疏的更新方案,每间隔一定帧数更新一次滤波器。用模型更新间隔来确定更新的频率,其中=1对应在每一帧都更新滤波器。

经实验观察,当≈5时跟踪精度和成功率更高,说明模型适度更新时跟踪效果更好。这是因为构建紧凑的样本空间模型减少了对最近邻近帧训练样本的过度拟合。但是也要有效把控的取值,取值太大会使得模型响应速度跟不上目标的变化速度。

当空间可靠性图更新间隔与模型更新间隔满足/=时,跟踪效果更好。其中,≥1,且为整数。

2 实验验证

2.1 目标跟踪精度实验

将本文算法与同时考虑通道和空间可靠性的判别相关滤波器(discriminative correlation filter with channel and spatial reliability,CSR-DCF)算法、高效卷积运算符跟踪(efficient convolution operactors for tracking,ECO)算法、采用直方图和颜色特征的高效卷积运算符跟踪(efficient convolution operactors for tracking-HOG and CN,ECO-HC)算法、连续域卷积操作跟踪(beyond correlation filters:learning continuous convolution operators for visual tracking,CCOT)算法、融合学习的实时跟踪(complementary learners for real-time tracking,Staple)算法、运用核相关滤波器(kernelized correlation filters,KCF)的高速跟踪算法、多尺度空间跟踪(discriminative scale space tracking,DSST)算法、自适应颜色特征贡献的实时视觉跟踪(adaptive color attributes for real-time visual tracking,CN)算法、基于多专家熵最小化的鲁棒跟踪(robust tracking via multiple experts using entropy minimization,MEEM)算法、长时间相关跟踪(long-term correlation tracking,LCT)算法等10个算法进行跟踪效果对比,实验数据包括15个无人机航拍数据集,视频序列分辨率为1280像素×720像素,实验中目标均为像素数小于20像素×20像素的小目标。

真实目标矩形框中心与跟踪结果矩形框中心之间的平均欧氏距离记为平均中心距离误差(center location error,CLE),用表示。以为评价指标,本文算法与CSR-DCF、ECO、ECO-HC、C-COT、Staple、KCF、DSST、CN、MEEM、LCT算法的平均中心距离误差如表1所示。可知,本文算法平均中心距离误差低于其他算法,跟踪效果更好。

表1 本文算法与其他算法平均中心距离误差比较

2.2 目标跟踪成功率实验

跟踪成功率表征的是估计目标矩形框与真实目标矩形框的重叠率,即两个矩形框重叠(overlap score,OS)部分的面积比上两个矩形框取并集的面积。重叠率的数学表达式为

式中:为人工标定的目标真实区域;为目标跟踪框区域。

使用成功率曲线图中各曲线下的面积(area under curve,AUC)作为评价指标,用表示。成功率曲线图的横坐标从0到1取连续阈值,纵坐标为重叠率大于该阈值的所有帧占该序列总帧数的百分比。本文算法与其他算法的如表2所示。可知,本文算法的成功率曲线的高于其他算法,具有更好的跟踪性能。

表2 本文算法与其他算法成功率比较

2.3 目标跟踪效率实验

目标跟踪效率对比实验,采用平均帧率(frames per second,FPS)作为评价指标,用表示,目标跟踪平均帧率如表3所示。与同样使用深度特征的ECO和C-COT算法相比,本文算法平均帧率更高。因为本文算法选取更容易表征物体轮廓信息的CNN浅层特征Conv-3或Conv-5中的一个特征层,而ECO和C-COT算法使用了浅层和高层两个卷积特征层,导致参数更多。当只提取HOG特征和CN特征时,本文算法平均帧率可达44.09帧/秒,具有良好的实时性。

表3 本文算法与其他算法目标跟踪平均帧率对比

3 结论

本文提出基于改进相关滤波器和目标多特征的无人机对地运动目标跟踪算法。提取和组合目标多通道特征,对目标进行更有效表征,基于高效卷积算子分解进行特征降维和紧凑的样本空间模型构建,提高样本多样性。空间可靠性图和滤波器模型进行较为稀疏的更新,提高目标跟踪精度。将本文算法与国内外10个先进算法在15个无人机航拍序列上进行目标跟踪实验对比。实验结果表明本文算法具有较优秀的跟踪效果,帧频最高可达44.09帧/秒,具有良好的实时性。