南京理工大学紫金学院 王添乐 丛玉华 吴洪佳 朱娴 朱惠娟 谢玲

针对无人机目标跟踪过程中机载设备算力有限、目标尺寸变小、干扰物存在的问题，研究适用于无人机视角的快速高精度目标跟踪算法。通过引入HOG融合CN属性进行特征提取，采用基于线性核函数的核相关滤波算法，实现对动态目标的跟踪，通过目标跟踪实验验证了该方法的有效性。

目标跟踪是指对获取到的视频和图像序列，在选定跟踪目标后进行检测、学习并持续跟踪的过程，即通过对初始帧选定的目标进行特征提取，获取目标的特征信息后对目标建模和学习，通过相关的算法实现对目标运动状态的理解，并持续推测出后续目标的位置和大小等信息[1]。无人机目标跟踪是诸多无人机任务类型中一个有挑战性的问题。要实现稳定、准确且高效的目标跟踪，首先要实现的就是对地面目标的检测，由于无人机视野广阔，目标与干扰物、背景之间存在干扰，同时，由于无人机飞到一定高度，目标尺寸变小，特征提取困难，不利于目标的识别和建模；其次，在追踪过程中，由于干扰物的存在，常常会发生遮挡现象，还有无人机自身的飞行速度变化、抖动和视觉模糊等问题，这些都会在一定程度上影响目标前后帧追踪的连贯性，给跟踪带来极大困难；此外，无人机目标跟踪要求无人机要具备基本的自主决策能力，在视觉跟踪的同时做到飞行追踪，对无人机的机载处理器是巨大的挑战，有限的计算资源和电池容量同样限制了无人机目标跟踪技术的发展[2]。针对以上问题，业界学者们提出了大量的算法和技术研究，但往往难以兼顾所有方面。因此，寻找一种能在嵌入式平台下运行且保证一定的稳定性和快速性的跟踪算法，对推进无人机实现自主跟踪功能具有重要的意义。

1 基于核相关滤波的跟踪算法

核相关滤波是一种快速的跟踪算法。该算法引进多通道的HOG特征，采用核技巧并使用快速傅氏变换对算法进行简化，可实现对目标的实时准确跟踪。算法具体流程如图1所示，主要分为三个阶段：目标图像预处理、目标位置检测、模型的训练和更新[3]。

1.1 目标图像预处理

目标图像预处理，由目标识别模块获取跟踪目标具体信息，一般是对识别到的目标进行框选。

1.2 目标位置检测

根据目标图像预处理的结果，获取当前目标帧。首先进行目标区域填充，然后对目标区域进行HOG特征提取，将当前提取的特征与模型训练后预测特征进行对比，生成的误差经滤波响应后，得到预测的目标位置。具体步骤如下：

1.2.1 目标区域填充

对目标区域进行填充，是为了避免完整的目标特征信息因为循环矩阵位移后被重组，保证有效的特征训练。如图2所示，内部红色粗线框为跟踪目标，外部蓝色细线框为目标区域填充后的结果。

1.2.2 HOG特征提取

方向梯度直方图（HOG）特征，是一种用来描述边缘信息的描述方法，通过利用光照强度的变换或边缘方向的分布来描述物体的外观和形态[3,4]。首先对图像的灰度化，去掉颜色信息以降低数据处理的运算量，同时对光线较亮和较暗的照片进行矫正，减少光亮的干扰。然后同时计算图像的水平梯度图和垂直梯度图，并将图像划分成若干个Cell，对每个Cell内像素的信息进行收集，得到这个Cell的HOG。最后将邻近的Cell合成大的块，统计检测窗口中所有重合的区域，得到全部的目标特征数据。HOG特征可以很好的应对几何和光学的形变。此外，在提取HOG特征后添加汉宁窗，可有效减缓边缘效应。

1.2.3 获取目标位置

定义Kz=C(kxz)为测试样本和训练样本在核空间的核矩阵，x是基样本，z是基图像块，kxz是x和z的核相关性[5]。于是得到测试样本的检测响应公式如式（1）所示：

式（1）中，f(z)是一个列向量，对其对角化，得如式（2）所示：

根据公式(2)所得，响应值最大的位置就是目标的位置。

1.3 训练与更新

1.3.1 训练阶段

训练阶段，主要是提取目标的外观和位置等信息，并将得到的特征作为目标样本进行训练，利用回归方程得到当前帧的分类器。涉及到的内容主要有：岭回归、循环矩阵和核函数。

（1）岭回归。设训练样本集(xi,yi)，训练的目的是找到线性回归函数f(xi) =ωTxi使样本向量xi和回归目标yi均方差误差最小，即如式（3）所示：

ω是分类器参数，λ是一个用于控制过拟合的正则化参数。

（2）循环矩阵。通过循环位移产生近似样本用于训练。用n×1向量x= [x1,x2,x3,· · ·,xn]T表示样本图像。定义矩阵P如式（4）所示：

样 本x平 移 一 次 为Px= [xn,x1,x2, · · ·,xn－1]T。 用Pux表示样本平移u位，根据循环性质得到如式（5）所示：

将n个向量依次排列组合在一起，就得到了一维循环矩阵[5]，以矩阵X表示如式（6）所示。

（3）核函数。上面介绍的主要是低维空间的线性运算，而实际运用是在高维度进行的。采用核方法将输入映射到特征空间中，映射后的样本在新空间是线性可分的[5]，如表1所示。

表1 常用核函数Tab.1 Common kernel functions

（4）高斯峰函数。通过添加高斯峰函数来区分样本填充区域的目标和背景，特征值越大，说明距离样本中心距离越近，反之越远，公式如式（7）所示：

式（7）中，(x,y)表示特征点位置，(x0,y0)表示填充区域的中心位置，ς是带宽。

1.3.2 更新阶段

在更新中采用线性插值法对目标样本向量α和样本模型x更新，如式（8）、式（9）所示：

式中，和分别表示第t帧的目标样本向量和样本模型，η为学习率。

2 基于核相关滤波算法的跟踪实验及结果分析

选取无人机航拍视频，对线性核、高斯核和多项式核进行对比，对灰度特征、HOG特征和HOG+CN特征进行对比，验证跟踪效果。

2.1 数据集

为检验针对无人机的跟踪性能，选择使用UAV123数据集，UAV123是由无人机航拍的91个视频序列组成，包含20个长序列，将其拆分后共得到123段视频序列，总图像超过11万帧，拍摄的内容有行人、汽车、轮船、自行车等多种目标，其拍摄角度高，无人机飞行姿态、角度变换频繁，场景复杂多变，因此存在遮挡、干扰、尺度变化等多种跟踪挑战[6,7]。此外，实验还挑选了OTB100的部分视频序列作为数据集补充。

2.2 实验设置

实验环境如表2所示。

表2 实验环境Tab.2 Experimental environment

本实验，设置跟踪框的填充倍数为1.5，模型更新速度为e-4，空间带宽为0.1，不同核的参数设置如表3所示。

表3 核内参数Tab.3 Internal parameters

基于无人机拍摄的UAV123存在以下难点：拍摄对象小；跟踪对象变化程度大；拍摄角度变化大；存在目标被遮挡消失的情况；有相似目标干扰；视频序列长等。为直观验证算法的有效性，分别从UAV123和OTB100中选取了8个视频序列进行仿真测试，这些序列存在的挑战如表4所示。

表4 选取的视频序列Tab.4 Selected video sequences

2.3 实验分析

实验主要研究两个性能指标，基于像素误差阈值法求得的准确率（精度）以及单位时间（每秒）运行的帧数。绘制的准确率曲线是中心真实误差距离小于给定阈值帧数的比值，本文将跟踪框的中心位置的误差阈值设置为20个像素点。

2.3.1 不同核的对比

实验分为三组，用HOG特征分别加上表1列出的三个核。其中在HOG特征下对比线性核与高斯核。结果如图3所示。

从图3的八组序列的对比中，发现除了bike1和group1组存在明显偏差，其余组在跟踪精度上相差不多。而通过如图3(b)所示得知，在速度上线性核速度要明显高于另外两种核方法，多项式核速度其次，高斯核速度最慢。由于高斯核的复杂程度是要高于线性核的，其精度却没得到明显的提升。因此在接下来的性能对比中，均采用速度更快的线性核。

2.3.2 不同特征的对比

通过上述测试，发现线性核的计算速度最快，因此本实验均采用线性核，分别对gray特征、HOG特征以及HOG+CN特征的算法进行性能对比，结果如图4所示。

通过图4可以看出，在无人机的视角下，HOG+CN特征的精度始终处于较高水平，优势明显。而在gray特征和HOG特征的对比中，HOG特征在较低误差阈值时测得的精度是高于gray特征的，也就是说在高标准下，HOG特征的性能更好。在跟踪速度上，gray特征帧数最高，HOG其次，虽然HOG+CN特征的算法牺牲了一定的速度，但是其在精度上有所提升。

2.3.3 可视化结果

为进一步验证HOG特征与HOG+CN特征的实际跟踪效果，选取表4中4组具有代表性的视频序列（bike1,car1,group1,wakeboard1）进行分析。序列后方括号内数字表示的是视频的帧数，如bike1[591,607,3085]，表示bike1序列的第591、607、3085帧，分别表示从左到右依次的三张图。可视化效果如图5～图8所示。

图5bike1序列：无人机于公路一侧拍摄行驶的自行车，随选定目标的移动而调整拍摄视角。两种算法的在第591帧开始出现差距，在607帧HOG特征相较于HOG+CN特征已有明显偏差，之后偏差一直存在，但直至第3085帧两种算法仍能较好的保持跟踪。

图6car1序列：无人机在高空拍摄行驶的汽车，过程中经历了相似车辆、视角变化、尺寸变化、完全遮挡等问题。在第828帧时，HOG特征算法因受到相似干扰物影响出现了漂移，跟踪失败。在第1503帧处出现了遮挡情况，在1534帧完全跟丢，此时HOG+CN特征算法也跟踪失败。

图7group1序列：三个人在无人机高角度跟踪拍摄下不断变化位置和拍摄角度，产生相似目标干扰、视角变化、遮挡等问题。从126帧到607帧之间经历大角度变化与部分遮挡后，两种算法仍能较好跟踪，而第721帧相似人物与目标人物靠近并遮挡，跟踪框均发生偏移，跟踪失败。

图8wakeboard1序列：无人机拍摄海上冲浪者，冲浪者的位置快速变化，身体姿态也不断变化。从171帧开始到237帧快速移动，再到380帧之间姿态变化频繁，两种算法均能较好跟踪。

通过上述序列中可以发现，两种算法都具有较好的跟踪性能。相比较下，bike1序列在HOG+CN特征的算法下鲁棒性更强，在要求高精度的场景中追踪效果更好；bike1与group1序列中对较大角度变化，两种算法都能较好处理并保持跟踪；wakeboard1序列说明两种算法在背景与目标区分大的场景下均能较好适应快速变化的跟踪；car1序列中采用HOG特征的算法会因相似物体而跟丢，而HOG+CN特征的算法则具有更好的抗干扰能力。总体上，HOG+CN的效果要优于HOG特征，但是面对group1序列中相似物体与目标重叠遮挡时，HOG+CN特征算法同样不能很好区分目标，此外目标被完全遮挡消失后，也会出现目标跟丢。

3 结论

采用核相关滤波快速跟踪算法实现无人机目标跟踪，通过实验得出采用线性核与HOG+CN特征的核相关滤波算法适合于无人机的小目标跟踪。但是，该算法在被遮挡情况下效果不理想，后续将进一步解决。