基于KCF算法的空中目标跟踪模拟
2021-11-05柳天宇王克强
柳天宇,王克强
(华北光电技术研究所,北京 100015)
1 引 言
弹道导弹的特点是速度快体积小,轨迹难以预测,导弹本身也可能的发生旋转、形变等,造成导弹防御中的发现难、拦截难等问题,因此弹道导弹的防御历来是空天防御中的重点和难点。而改进优化这个问题基于目标检测跟踪问题。
目标跟踪技术目前主要有两种模型方法:生成类和判别类。早期的工作集中于生成类模型跟踪方法的研究,主要有两种思路:是否依赖于目标的外观模型。光流法,在提前建立目标模型的前提下,在视频中依靠相邻帧的像素关系寻找目标；Meanshift方法则不依赖目标的外观模型,它的原理是对目标模板进行迭代直到最优。目前在军事上应用更广泛的是生成类模型的跟踪方法,即先建立模板,之后再找与模板相似度最高的作为目标跟踪的预测区域。但是在机载场景中跟踪目标一般为导弹,其特点是目标较小,运动速度较快,特征不明显,运动轨迹不规则,目标尺度变化。面对这种目标,早期传统的目标跟踪算法如光流法实时性太差；核方法面对目标不规则的运动、目标尺度的变化不能很好的自适应跟踪,而且复杂的计算量也使得跟踪实时性很差。所以需要一种计算速度快,实时性强的算法来对其进行检测跟踪。针对这种场景下,具有这样特性的目标跟踪任务,更好的目标跟踪方法是判别类跟踪方法,即利用机器学习训练一个分类器来区分目标和背景噪声,选择匹配度最高的候选区域进行跟踪。该方法相较于生成类方法最大的优点是,机器学习训练的分类器。人工设计滤波器对图像进行处理,对特征的处理较为单一,存在时间复杂度高,鲁棒性低,准确度和实时性差的缺点,适用性不强。机器学习的核心思想是模拟人工智能,使目标检测器、跟踪器具备一定的自我学习和判断能力。相较于人工设计,机器学习运用多层深层的计算模型自动提取高层特征,对复杂特征的表征有了很好的表现,准确率和效率大幅提升,成为了视觉领域的主要处理方法,此技术也越来越广泛地应用于汽车、航空航天、航海等领域[1-4],
相关滤波算法是判别类模型中一种重要的方法,这种方法的特点是运算速度很快,所以在高速目标跟踪领域应用广泛,其中的KCF(Kernelized Correlation Filters)算法的FPS可以达到172,具有非常高的实时性,并且其准确率也能达到0.55,比较符合本文讨论的高速目标准确跟踪场景。而在机载空中目标跟踪场景中应用此技术以提高目标检测跟踪的能力符合现实需求。本文重点研究在机载空中目标跟踪情景下基于KCF算法的目标检测跟踪方法[5]。
2 KCF目标跟踪算法
因为机载空中目标跟踪对实时性要求很高,综合考虑实时性和精确度,本文选用基于深度学习的YOLO(You Only Look Once)v4[6]作为目标检测器。2015年YOLO[7]问世,检测速度达到45fps,检测速度非常快。 YOLO是首个不需要候选区域的算法,YOLO是一种直接采用回归(Regression)思想,端到端的检测方法,直接从图像像素出发,得到分类和概率,且由于每个物体边框的预测都以整张图的特征作为输入,因此,YOLO算法预测出来的边框都是综合了整张图的信息,包含了充足的上下文信息。而YOLOv4则是目前性能最好的目标检测算法之一。
目前目标跟踪的主要方向有两个:一个是相关滤波方向；一个是深度学习方向。在速度和实时性方面,相关滤波方法较其他方法更好。KCF核相关滤波器算法则是目前速度和精度都很好的一种相关滤波算法。相关滤波算法始于2010年的MOSSE滤波器,当初始化视频中第一帧,就可以产生稳定的相关滤波器。MOSSE滤波器对颜色、尺度、形状、亮度等的鲁棒性比较好[8]。但是这种匹配方法有一定的缺陷,具有训练样本量少,特征单一等缺点,导致其目标跟踪精准度不够。而KCF算法则是在该算法的基础上通过循环矩阵生成多样本然后利用每一个样本进行回归训练,解决了训练样本量少的缺点；引入了多通道特征的处理,使其可以采用多通道的HOG特征或者其他特征,解决了特征单一的缺点；并利用核技巧简化计算量,使得其目标跟踪效果更好。KCF算法效果如图1,该算法相比原MOSSE算法在精确度上有较大的提升,跟踪准确,速度快。
图1 KCF与其他目标跟踪算法Fig.1 KCF and other target tracking algorithms
针对机载空中目标跟踪场景中目标特性,KCF算法可做以下优化:第一帧时,在画面中采集样本,目标为正样本,背景为负样本,但这样形成的样本量过少,可以通过循环矩阵生成的大量新的样本进行训练,弥补了样本量少的缺点；利用岭回归训练分类器,更好的分类器有助于更加精确地区分目标和背景,使得准确性得到了提升；利用循环矩阵的特性,在数学上极大地减少运算量,使得该算法的运算速度得到提升,从而保证了实时性；相关滤波方法一直存在特征提取单一的问题,KCF给出了一种多通道的途径,即可以在目标跟踪时采用多种图像特征,进一步加强了准确性,多种图像特征也使得算法的鲁棒性得到了加强[9]。
本文基于以上算法特点进行实验设计。
3 实验设计
机载空中目标跟踪的场景中目标具有速度快、实时性强等特点,而KCF跟踪算法具有简洁、效果好、速度快、实时性强的优点,所以我们选用基于KCF算法的目标跟踪器应用于此场景。
KCF算法实现目标跟踪的基本流程为:读入视频序列,提前由YOLOv4目标检测器检测出的目标作为真实目标,在当前帧采样,用目标和背景信息训练分类器,得到相关滤波器；下一帧图像与相关滤波器做卷积,响应最大的区域作为预测目标,目标更新迭代,并进行跟踪；下一帧循环上述过程。
在机载空中目标跟踪场景中,由于目标和环境是实时变化的,需要在线学习。如图2所示,在当前帧目标区域及周围随机采样,生成基样本和负样本,训练分类器f。然后对下一帧对应位置随机采样,通过分类器得到的输出响应,选择响应最大的采样作为跟踪到的目标。
图2 训练分类器Fig.2 Training the classifier
训练样本的生成都是基于循环矩阵形式来构建的。其中基样本x为正样本,其他全部都是负样本,由于循环矩阵的性质,这样的样本集可以很方便的利用快速傅里叶变换和傅里叶对角化的性质来进行计算,而不需要得知负样本的具体形式,算法将有关负样本的计算都转换到了频域进行求解。由任意基样本x生成的循环矩阵有以下特性:
(1)
岭回归方法是本文在这个算法中所采用的训练分类器的方法,其目标函数是:
(2)
其中,L(yi,f(xi))为损失函数,定义为((f(xi)-yi))2,λ为正则化参数,正则项的引入谜底是为了排除一些因循环矩阵变换后而变形过度的虚拟样本。解得ω形式为:
ω=(XHX+λI)-1XHy
(3)
其中,X的每一行代表了一个样本;y的每一个元素是其对应的回归分布的值。其中XHX的计算量是无法在线学习的,并且分类器f在现实情况中通常不是x的线性表达。但是核函数可以将数据从低维映射到高维,原本的非线性数据在映射后的特征空间满足线性关系,以此达到将非线性计算转换成线性计算的目的,同时这样的操作还能是跟踪的准确性得到提升。此时需要找到一个非线性映射函数φ(xi),此时的ω可以表示为下式:
ω=∑αiφ(xi)
(4)
经过一系列推导,可求解出:
α=(φ(X)φ(X)T+λI)-1
=(K+λI)-1y
(5)
K=φ(X)φ(X)T为训练样本的核相关矩阵,k(i,j)=φ(xi)Tφ(xj)为核函数。时间复杂度为:o(n3)。由前面可知,除基样本外所有的训练样本都是通过循环矩阵生成,那么K也是循环矩阵,由式(1)可知,化简α后的时间复杂度为:o(nlog(n)),对比先前的时间复杂度,有了明显的提升,数学运算上的简化,使得该算法的速度得到了极大的提升,综合各方面考虑,本文目标跟踪算法的核函数选用高斯核函数,用此核函数技巧可以使实时性达到170+FPS。符合机载空中目标跟踪对运算速度和实时性的要求。
样本训练中的特征提取是影响跟踪算法性能的重要因素,机载空中目标跟踪场景特殊,而且使用的是可见光图像,可见光图像纹理特征较为清晰,因此基于RGB彩色图像提取样本的HOG特征对目标进行检测跟踪,把样本特征从一维扩展到多维。本文最终采用的图像特征是HOG特征和灰度特征相加后的特征:
(6)
其中,x是单一特征;xc是两种特征矢量相加后的新特征。
目标跟踪模型经过最终优化,选择核函数和图像特征提取后对其进行算法的工程实现。
4 模拟实验测试
本项目的测试实验是在实验室中模拟的机载空中目标检测跟踪场景,具体方式是通过网络高清摄像机获取图像,经过视频处理单元的图像处理技术将目标跟踪得到的脱靶量传给伺服控制器,伺服控制器控制带有快反镜和激光发射单元,利用快反镜把反射的激光束打在跟踪的目标上进行激光干扰。目标跟踪瞄准光电系统机械结构主要由双轴快反镜组成,快反镜的转速快、转动范围大,满足空中目标速度快,视场大的需求。整体流程如图3所示。
图3 目标检测跟踪流程图Fig.3 Target detection and tracking flowchart
如图3所示,整体流程为:打开网络摄像机,读入视频序列；打开快反镜并自检；YOLOv4对读入的视频图像进行目标检测,得到多个候选目标；在多个目标中选择离视场中心最近的目标作为主目标；KCF算法检测到的主目标或者手动选取的目标进行跟踪；计算跟踪框与检测框的相似度,记为S,设置相似度阈值T,进行判断,若S
在整个流程中的检测算法测试中,我们将各类目标包括视频模拟的导弹和盒子杯子等小物品放在视场中,当高清摄像机拍摄到目标时,YOLOv4算法对读入的视频序列进行目标检测与识别。效果如图4所示。
图4 目标检测识别效果Fig.4 The effect of target detection and recognition
如图4所示,检测器能检测识别出导弹和盒子水杯等目标,并对其标定。其中框出来的区域是检测目标的目标区域,目标框上的文字是检测目标的标签类别信息。实验表明YOLOv4检测算法能够准确地检测识别出导弹盒子水杯等目标。
在整个流程中的跟踪算法测试中,我们用视频模拟了导弹在天空中白云作为背景噪声的环境中的运动,为了模拟场景中的实时性,视频帧数达到30+FPS。测试时,我们将视频投影到视场中,视频播放中模拟的导弹运动会被跟踪器检测到,然后跟踪器会对视频中的导弹进行跟踪。效果如图5所示。
图5 目标跟踪效果Fig.5 The effect of target tracking
如图5所示,我们连续不断测试了对三组不同外型大小和距离的导弹的跟踪,并对其录像,连续截取了录像中对导弹跟踪的片段。图中的激光点是正在对导弹目标跟踪的激光器。实验结果显示跟踪器能准确快速地跟踪目标。
最后对系统对各种目标的检测跟踪性能进行测试,其中大型目标是飞机或者模拟的近距离导弹,弱小目标是移动中的瓶盖等小物品或者模拟的中远距离导弹。检测准确率由检测成功率表示,跟踪精度由跟踪未丢失目标概率表示。最终测试结果如表1所示。
表1 目标检测跟踪性能Tab.1 Target detection and tracking performance
5 结 语
本文将基于机器学习的KCF目标跟踪算法应用到机载空中目标跟踪场景中,从模拟实验结果可以看出搭配YOLOv4目标检测器的KCF算法对目标的跟踪准确率高,实时性好,能够实现对空中目标的实时跟踪。而随着机器学习技术的发展成熟,分类器和特征提取会越来越完善,目标检测跟踪算法也会越来越完善,若在机载空中目标跟踪场景中应用此技术,能够实时准确地检测识别跟踪到目标,实现现代空战中机载空中目标跟踪的需求。
