胡本川 张国宾 张建龙 王 勇

(1．西安电子科技大学电子工程学院,西安,710071；2．中国电子科技集团公司第二十七研究所,郑州,450047)



基于改进Kalman滤波的可见光极小目标TBD跟踪方法*

胡本川1张国宾2张建龙1王 勇2

(1．西安电子科技大学电子工程学院,西安,710071；2．中国电子科技集团公司第二十七研究所,郑州,450047)

针对无人机可见光图像极小目标跟踪问题，本文提出一种基于改进卡尔曼滤波的(Tracking before detection,TBD)跟踪方法。首先利用检测算法定位目标位置作为卡尔曼滤波的测量值，检测过程中的匹配相似度参数作为卡尔曼滤波测量噪声协方差矩阵的参照依据，其次利用卡尔曼滤波建立跟踪框架预测下一帧的目标位置，最后检测模块以预测位置为参考位置进行局部搜索，完成整个检测跟踪过程。为了提高跟踪效率，本文根据检测和预测位置积累误差判决检测模式，误差超过门限值则采取全局检测模式消除积累误差，否则使用局部检测模式，降低TBD跟踪算法的运算复杂度。仿真实验证明，本文方法可以有效检测跟踪极小目标，提高跟踪的实时处理能力。

目标检测；卡尔曼滤波；小目标；目标跟踪

引 言

目标跟踪是通过连续定位目标来生成目标的运动轨迹，或者给出每一时刻目标在图像中的区域位置信息。基于视觉的目标跟踪一般从目标检测开始，而且在后继的视频序列中需重复地检测目标以校验跟踪和维持跟踪连续进行。根据目标表示方法的不同，现有的目标跟踪方法可以分为：(1)基于特征点的目标跟踪方法。该方法使用多个特征点表示目标，通过寻找最优的多特征点的关联关系来实现目标跟踪。例如经典的卡尔曼滤波器、无迹卡尔曼滤波器(Uncented Kalman filter,UKF )[1,2]、扩展卡尔曼滤波器(Extended Kalman filter, EKF)[3,4]、粒子滤波器[5]以及MFC[6]等方法。(2)基于区域的目标跟踪方法。该类方法使用模板和密度外观模型来表示目标区域，并通过计算连续帧间模型的运动参数来实现目标区域跟踪。例如均值漂移方法[7]、增量子空间[8]方法。(3)基于剪影的目标跟踪方法。此类方法通过估计每一时刻完整的目标轮廓而不是计算目标的运动参数来实现跟踪。例如状态空间模型方法、最小化轮廓能量方程方法,其中包括Hausdorff匹配[9]、Hough变换[10]和直方图匹配[11]等。

弱小目标跟踪是目标跟踪的重要分支之一，也是近年来的研究重点和难点。所谓小目标指的是目标的成像尺寸属性，就是指目标在图像中所占的像素面积小。根据国际组织SPIE的定义，小目标指在256×256的图像中目标面积小于80个像素，即小于图像面积0.12%的目标就为小目标。在常见的无人机小目标跟踪场景中，可见光图像分辨率为1920像素×1080像素，目标投影面积小于100像素，只占总面积0.005%。面特征极难提取，运算复杂度高，检测和跟踪比较困难。传统的目标跟踪方法[12]效果不理想，虚警、漏警较高且速度较慢。针对无人机可见光图像极小目标跟踪的难点，本文提出了一种先检测后跟踪的改进卡尔曼滤波极小目标跟踪方法，检测方法采用Tophat分割、低级特征级联匹配以及帧间能量滤波的框架，利用检测出的结果作为卡尔曼滤波的测量值，把检测过程中的参数作为卡尔曼滤波跟踪的先验知识，即引入特征匹配中的相似度作为卡尔曼滤波框架中测量噪声协方差矩阵的重要参考依据，并将卡尔曼滤波的预测结果反馈至检测模块作为下一帧检测的参考位置，形成检测、预测互相反馈的闭环结构，从而提高系统稳定性和跟踪精度，降低误差。为进一步提高跟踪速度，本文统计检测和跟踪的累积误差作为检测模式的判决依据，从而加快检测速度，提高系统效率。

1 基于改进卡尔曼滤波极小目标TBD跟踪方法

无人机图像目标场景中，目标面积极小，缺乏形状、尺寸和纹理等特征，传统跟踪算法难以实现对极小目标的直接跟踪。本文提出了一种先检测后跟踪的TBD跟踪方法，跟踪算法为卡尔曼滤波架构。其整体框架如图1所示。

图1 改进kalman滤波极小目标跟踪算法Fig.1 Framework of minimal target tracking method based on improved Kalman filter

图中Fk+1为输入的第K+1帧图像，Ek为前K帧系统的累积误差，Xk+1,k表示第K+1帧的状态预测值，Zk+1为检测出目标的位置信息，即卡尔曼滤波中第K+1帧的测量值，Sk+1表示被检测出目标的相似度，Pk+1,k为预测均方误差值，Xk+1为第K+1帧的最优状态值，Pk+1为Xk+1的均方误差值。

跟踪过程如图1所示。首先利用检测算法从输入图像中检测出疑似目标，输出目标位置Zk+1作为卡尔曼滤波的测量值，并将检测过程中的相似度参数Sk+1输出到跟踪模块，作为卡尔曼滤波过程中测量噪声协方差矩阵的参考依据，然后利用卡尔曼滤波框架预测出下一帧目标位置Xk+1,k，反馈至局部检测模块作为下一帧检测的参考位置。同时统计目标检测位置和预测位置的累积误差Ek作为下一帧检测模式的判决依据，检测模式包括全局检测和局部检测两种，当累积误差大于设定阈值A时表示预测误差过大导致检测误差增大，则启动全局检测模式，否则选用局部检测模式，减小检测运算复杂度。

1.1 目标检测

目标检测指的是通过对场景的分析，在视频序列或者图像上找到特定目标或者区域的行为。检测一般受到复杂环境的影响，比如场景变化、光照变化、场景噪声、多目标干扰以及目标外观变化等。针对可见光下极小目标缺少特征的特点，本文利用图像分割和特征级联匹配方法完成极小目标检测，检测流程如图2所示。

图2 目标检测流程
Fig.2 Process of target detection

输入图像首先通过图像预处理进行增强，再利用Tophat融合算法[13,14]对图像完成分割，检测出疑似区域，再经过区域合并处理，最后利用模板目标的面积大小、灰度均值和方差以及领域熵等低级特征，完成疑似区域特征匹配得到最终结果。其中领域熵反映图像中像素位置的灰度信息和像素邻域内灰度分布的综合特征。检测模块输出目标位置Zk+1和匹配相似度Sk+1到卡尔曼滤波中。

无人机图像检测的结果如图3所示。图3(a)为原始分辨率检测结果，图3(b)为图3(a)检测结果局部放大图。图中白色靶标为检测的目标，红色方框标定出的是检测出来的目标。图中共有3个目标其中检测出了2个目标，1个目标没有检测出来是由于目标面积小，缺少特征，而且此目标在背景道路边缘，分割结果不稳定，但是可以通过本文改进补偿出该目标的位置。

图3 目标检测结果Fig.3 The target detection result

1.1.1 相似度的定义

相似度参数Sk+1是目标检测过程中目标模板和待检测区域的匹配测度，同时也是卡尔曼滤波跟踪过程中测量噪声协方差矩阵的重要参照依据。

假设目标模板数为m，搜索窗及模板窗面积为s=a×b，被检测区域面积为S=A×B，其中包含n个搜索窗。定义第k+1帧图像相似度Sk+1为

(1)

式中SMi和SEi分别表示第i个搜索窗的均值相似度和熵值相似度，定义公式为

(2)

(3)

式中：Mi表示第i(i∈(1,2，…,n))个搜索窗的灰度均值，Mj表示第j(j∈(1,2，…,m))个模板的灰度均值。Ei表示第i个搜索窗的领域熵，Ej表示第j个模板的领域熵。Mi和Ei计算公式为

(4)

(5)

1.1.2 检测模式的选择策略

本文目标检测模式包括全局检测和局部检测两种模式。全局检测指在整个输入帧范围内检测;局部检测指在指定局部范围内检测。全局检测需要更多的计算复杂度和时间消耗，但可检测到最优值；局部检测只在小范围内检测，计算复杂度较低，时间消耗少，但输出为局部最优。考虑到输入图像分辨率较高，为提高实时性，本文提出一种全局检测和局部检测相结合的检测策略。检测模式的选择根据累积误差Ek的大小决定，累积误差Ek表示前k帧图像中卡尔曼预测位置和检测位置欧氏距离之和，即为

(6)

检测流程如图4所示。图中A表示积累误差Ek的门限值，A根据不同应用场景取值不同。检测步骤如下。

图4 检测模式的选择Fig.4 Options of detection mode

(1) 当Ek≥A，Fk+1进行全局检测，得到测量值Zk+1和相似度Sk+1。

(2) 当Ek

(3) Fk+1在以预测值Xk+1,k为矩形中心的2m×2m大小的区域内进行检测，若能检测出目标则输出测量值Zk+1和相似度Sk+1，否则跳到步骤(4)。

(4) 计算得到2m×2m大小的区域内最小相似度Sk+1的对应位置，并将其作为为目标的测量值Zk+1。

1.2 卡尔曼滤波器模型及其改进

Kalman滤波是匈牙利数学家鲁道夫.E.卡尔曼(Rudeolph E. Kalman)1960年提出来的一种最优化自回归数据处理算法[15]，可以用来解决机器人导航、控制、传感器数据融合、雷达系统[16]以及导弹追踪[17]等问题,近年来更被应用于计算机图像处理[18]。

1.2.1 系统模型

卡尔曼滤波算法主要是根据前一时刻的数据来估计本时刻的真值和下一时刻的预测值，其基本信号模型包括观测方程和状态方程,即

(7)

(8)

其中状态方程中的Xk表示k时刻的状态，Ak,k-1为一步状态转移矩阵，Bk-1为k-1时刻的系统控制矩阵，用来反映扰动噪声对系统状态影响程度的矩阵，Uk-1为扰动噪声，其协方差为Q。扰动噪声是指目标物体在运动过程中收到各种外界的随机干扰，如目标物体自身的加速减速、转弯等都会对物体的运动规律有所影响，而且这种噪声是不断变化的，在处理中一般将其作为高斯白噪声处理。Vk是观测噪声，其协方差为R。它主要来源于观测仪器设备本身的因素导致的观测数据存在的噪声，一般可以直接获取。图5为离散线性信号的模型系统图。

图5 离散时间线性系统Fig.5 Discrete-time linear system

利用正交投影的概念可以得到离散卡尔曼滤波的递推公式,状态一步预测方程为

(9)

一步预测的均方差误差矩阵

(10)

滤波增益矩阵

(11)

滤波均方误差矩阵

(12)

状态更新方程

(13)

只要给定误差协方差P、观测噪声协方差R和扰动噪声协方差Q的初始值，整个滤波器就可以启动并循环下去。

1.2.2 改进卡尔曼滤波

经典卡尔曼滤波的框架中检测与跟踪是简单的串联关系，这种关系不能保证系统的稳定性；同时传统的跟踪模块中不能充分地利用到检测过程中的有效信息，没有测量值情况下，本文指出未检测出目标时经典卡尔曼滤波无能为力。本文引入检测过程中的相似度作为测量信号噪声协方差矩阵的参考依据，并将预测位置和积累误差反馈到检测模块用于确定下一帧搜索窗位置和检测模式，用最小相似度作为测量值保证了卡尔曼滤波测量值的存在性。改进后的卡尔曼滤波如图6所示，把累计误差Ek和状态预测值Xk+1,k反馈给检测系统，再由检测系统执行上述检测模块的流程。同时更新累积误差，这样就可以构成一个比较完整的闭环结构。

图6 改进卡尔曼滤波Fig.6 Improved Kalman filter

本文改进卡尔曼滤波中测量噪声协方差矩阵R的构造较为关键。在卡尔曼滤波器递推过程中可以发现，卡尔曼滤波性能的优劣很大程度上依赖于初始值的设定以及观测噪声协方差R和噪声协方差Q的更新设计问题上。

图7 相似度的频率分布直方图 Fig.7 Frequency distribution histogram of similarity

(14)

式中:rij表示R矩阵中的i行j列的元素。在式(7)中可以发现，观测噪声Vk+1中的元素v1j对应于Zk+1的元素z1j的噪声。由于Zk+1中的每个元素都是独立互不相关的，所以可以得到任意rij=0(i≠j)；又因为Zk+1中的每个元素在同一帧图像服从相同的高斯分布，所以可以得到任意rij=c(i=j)。由上可以得到观测噪声协方差R是一个对角元素相等的对角矩阵。

目标检测过程每个测量值都会对应一个相似度。计算在以预测值Xk+1,k为矩形中心的m×m大小的区域内所有搜索窗的相似度Sk+1，统计这个区域内所有相似度的频率分布直方图如图7所示。观察图7可以发现搜索窗的相似度分布为类高斯分布。

经典卡尔曼滤波R和相似度同为高斯分布，因此本文设定改进R对角元素为rii=Sk+1+a，(i=1,2，…,n)其中a为经验值。由此观测噪声协方差R可以表示为

(15)

分别统计经典卡尔曼滤波R和改进卡尔曼滤波R对应卡尔曼增益Kg的曲线变化如图8(b,c)所示，图8(a)为理想Kg曲线。从图8可以看出改进后的R使得Kg曲线比经典R对应的Kg曲线收敛更快、更趋近与理想曲线，说明了本文构造的R是可行的。

图8 3种方法下的Kg变化趋势Fig.8 Trends of Kg with three methods

2 仿真实验及分析

为了验证改进卡尔曼滤波TBD目标跟踪方法的有效性，本文在Matlab2014a仿真平台上进行了实验验证。实验平台CPU选用i5-2410M，内存2 GB。测试数据选用两组无人机可见光视频，分别为数据BB和数据RW，视频分辨率1920×1080，帧率为25帧/s。BB数据共150帧，检测目标为白色的靶标，目标在图像中的面积小于150像素。RW数据共130帧，检测目标为人，目标在图像中的面积小于80像素。

图9～12分别为BB数据第8,12,62和76帧目标检测和改进卡尔曼滤波结果。从这4帧图像中可以看出，改进的卡尔曼滤波对检测结果中的漏警作出了有效补偿，验证了本文方法的有效性。

图9 数据BB第8帧检测Fig.9 BB detection at frame 8图10 数据BB第12帧检测Fig.10 BB detection at frame 12

图11数据BB第62帧检测Fig.11 BB detection at frame 62图12 数据BB第76帧检测Fig.12 BB detection at frame 76

图15 数据RW第90帧检测Fig.15 RW detection at frame 90图16 数据RW第94帧检测Fig.16 RW detection at frame 94

图17 经典卡尔曼和改进方法的预测误差Fig.17 Comparison of prediction error with classical and improved Kalman filter

图12～15分别为RW数据第17，19，90和94帧目标检测和改进卡尔曼滤波结果。从这4帧可以看出改进的卡尔曼滤波有效跟踪多个目标并补偿出漏警，本文多目标跟踪中的航迹规划采用最近邻数据关联方法[19]。

为了验证本文方法在跟踪精度方面的效果，统计了本文CBD框架下经典卡尔曼滤波和改进卡尔曼滤波预测误差的变化曲线，预测误差采用检测值与预测值的欧氏距离，如图17所示。在图17(a)中第8,10,12帧由于光线、噪声等干扰未检测出目标，因此预测误差无限大，曲线上表现为断线，而本文方法(如图17(b)所示)在未检测出目标的第8，10，12帧采用最小相似度位置代替检测值，则有效降低了预测误差曲线的振荡幅度，同时也符合实际的物理分布，即采用最有可能的值作为测量值，无论是否符合检测准则。为了提高系统实时性，本文利用累计误差作为检测模式的判决依据，使检测模块多数情况下工作在局部检测模式，因此可以有效提高实时性。为了验证本文方法在跟踪速度上的优势，本文统计了BB和RW两组数据在纯检测、检测+经典卡尔曼和本文方法3种方法条件下，平均每帧图像的目标检测数、漏警数以及时间消耗。

表1 3种跟踪方法性能对比

表1中，本文方法在BB数据和RW数据都表现出了良好的跟踪特性，检测率最高，所用时间最少，BB数据中本文方法检测率比纯检测方法高16.67%，比跟踪框架下经典卡尔曼滤波高13.33%，时间分别减少3.98 s和4.2 s;RW数据中本文方法检测率比纯检测方法高19%，比跟踪框架下经典卡尔曼滤波高14%，时间分别减少3.66 s和3.81 s。从表1中数据可以看出，无论对于靶标跟踪还是人物跟踪，单目标还是多目标跟踪本文方法都体现出了优势。

3 结束语

针对可见光下小目标的检测跟踪，本文提出了一种基于改进卡尔曼滤波的TBD跟踪算法。根据理论分析和仿真实验结果，利用相似度S修正测量噪声的协方差R不仅可以提高目标跟踪的精度，而且对于极小目标检测的漏警有比较明显的降低。采用基于累积误差的综合策略，提升算法运行的效率，避免了极小目标在全局检测过程中耗费大量时间，提高了目标跟踪的速度，有效地提升了系统实时处理能力。但检测过程中的搜索策略和卡尔曼滤波中的R构造仍值得进一步探索。

[1] 石勇，韩崇昭.自适应UKF算法在目标跟踪中的应用[J].自动化学报，2011, 37 (6) :755-759.

Shi Yong, Han Congzhao. Adaptive UKF method with applications to target tracking[J]. Acta Automatica Sinica, 2011, 37 (6): 755-759.

[2] Mohammed D, Abdelkrim M, Mokhtar K, et al. Reduced cubature Kalman filtering applied to target tracking[C]∥The 2nd International Conference Control, Instrnmentation and Automation(ICCIA). Shiraz:IEEE, 2011:1097-1101.

[3] Song T L, Speyer J L. A stochastic analysis of a modified gain extended Kalman filter with application to estimation with bearing only measurements[J]. IEEE Transactions on Automatic Control, 1985, 30(10):940-949.

[4] 崔少辉，戴明祯.利用推广卡尔曼滤波实现纯方位目标跟踪[J].南京航空学院学报，1989,21(2):77-83.

Cui Shaohui, Dai Mingzhen. Realization of bearings-only target tracking by extended Kalman filter[J]. Journal of Nanjing Aeronoutical Institute,1989,21(2):77-83.

[5] 左军毅，张怡哲，梁彦.自适应不完全重采样粒子滤波器[J].自动化学报，2012, 38(4): 647-652.

Zuo Junyi, Zhang Yizhe, Liang Yan. Particle filter based on adaptive part resampling [J]. Acta Automatica Sinica, 2012, 38(4): 647-652.

[6] Shafique K, Shah M. A. Noniterative greedy algorithm for multiframe point correspondence [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(1):51- 65.

[7] Comaniciu D, Ramesh V, Meer P. Kernel-based object tracking [J]. Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(5): 564-577.

[8] Ross D, Lim J, Yang M H. Adaptive probabilistic visual tracking with incremental subspace update [C]∥ Proceedings of European Conference on Computer Vision. Prague: Springer, 2004,2:470-482.

[9] Li B, Chellappa R, Zheng Q,et al. Model-based temporal object verification using video [J]. IEEE Transactions Image Processing, 2001, 10(6):897-908.

[10]Sato K, Aggarwal J. Temporal spatio-velocity transform and its application to tracking and interaction [J]. Computer Vision and Image Understanding, 2004, 96(2):100-128.

[11]Li P H, Xiao L J. Histogram-based partial differential equation for object tracking [C]∥ Proceedings of International Conference on Advances in Pattern Recognition. Kolkata: IEEE, 2009:286-289.

[12]卞志国，金立左，费树岷．视频目标跟踪中的提升分类算法[J]．数据采集与处理，2010，25(6)：683-688.

Bian Zhiguo, Jin Lizuo, Fei Shumin. Boosting classification algorithm in visual object tracking[J].Journal of Data Acquisition and Processing, 2010, 25(6):683-688.

[13]Pinoli J C，Debayle J. Spatially and intensity adaptive morphology [J]. IEEE Journal of Selected Topics in Signal Processing, 2012，6(7):820-829.

[14]Najman L,Talbot H. Mathematical morphology: From theory to applications [M].Wiley:ISTE,2013:1-33.

[15]Kalman R E. A new approach to linear filtering and prediction problem[J]. Trans ASME Journal Basic Engrg,1960, 82(1):34-45.

[16]李莉，朱珺.无偏转换卡尔曼滤波在雷达目标跟踪中的应用[J].电子测量技术，2011(4):30-32.

Li Li, Zhu Jun. Kalman filter unbiased conversion of radar target tracking[J]. Electronic Measurement Technology, 2011 (4): 30-32.

[17]曲萍萍，周荻.考虑导弹自动驾驶仪二阶动态特性的导引律[J].系统工程与电子技术，2011,33 (10):2263-2267.

Qu Pingping, Zhou Di. Guidance law incorporating second-order dynamics of missile autopilots [J]. Systems Engineering and Electronics, 2011, 33 (10): 2263-2267.

[18]高璐，张大志，田金文.红外序列图像目标跟踪的自适应Kalman滤波方法[J].红外与激光工程，2007, 36 (5):729-732.

Gao Lu, Zhang Dazhi, Tian Jinwen. Moving object tracking based on adaptive Kalman filter [J]. Infrared and Laser Engineering, 2007, 36 (5):729-732.

[19]Singer R A, Kanyuck A J．Computer control of multiple-site track correlation[J]．Automation，1971,7(3):455-463.

胡本川(1992-),男，硕士研究生，研究方向：数据挖掘、图像处理，E-mail：hbc_199@sina.com。

王勇(1976-)，男，高级工程师，研究方向：无人飞行器信息处理技术。

张国宾(1986-)，男，工程师，研究方向：无人飞行器信息处理技术。

张建龙(1976-),男，副教授，研究方向：图像视频处理、无人机视觉系统和目标跟踪与检测。

Minimal Target TBD Tracking Method for Visible Image Based on Improved Kalman Filter

Hu Benchuan1, Zhang Guobin2, Zhang Jianlong1, Wang Yong2

(1.Institute of Electronic Engineering, Xidian University, Xi′an, 710071, China;The 27th Research Institute of China Electronics Technology Group Corporation, Zhengzhou, 450047, China)

A tracking before detection(TBD) tracking method for minimal targets tracking in unmanned aerial vehicle (UAV) visible image based on improved Kalman filter is presented. Firstly, detected target obtained by detecting algorithm is used as the measurement value of Kalman filter. Parameters of matching similarity in the detection process is used as an important reference for measurement noise covariance matrix of Kalman filter. Secondly, in the tracking module, tracking framework based on Kalman filter is established to predict the target position in next frame. Finally, targets are searched by detection module in local area according to predictive position. In addition, in order to improve the tracking efficiency, accumulation error between detection position and predictive position is calculated to choose detection mode. Global detection mode is taken if accumulation error is greater than the given threshold and accumulation error is set to be zero, or local detection mode is done. The strategy can effectively reduce computational complexity of the TBD tracking method. Simulation experiment results show that the method can obtain the better performance of detection and tracking than that of classic Kalman filter.

target detection; Kalman filter; minimal target; target tracking

2015-06-30；

2015-10-12

TP391

A