王 杰，孙艳丽，周 伟

(海军航空工程学院 a.信息基础实验部； b.融合研究所， 山东 烟台 264001)

【信息科学与控制工程】

基于多特征直方图的红外图像目标跟踪

王 杰a，孙艳丽a，周 伟b

(海军航空工程学院 a.信息基础实验部； b.融合研究所， 山东 烟台 264001)

根据红外图像的特点，采用单一颜色难以描述复杂的跟踪环境，尤其是目标周围有相似亮度的背景干扰时，会造成跟踪失败。针对该问题，提出在MS跟踪理论框架下将颜色特征和梯度特征联合起来描述目标。实验表明：该方法能准确地跟踪海上红外运动目标。

红外图像；多特征直方图；目标跟踪；Meanshift算法

视觉跟踪技术已广泛应用于视频监控、智能交通、人机交互、视频压缩等民用领域。在军事领域，以精确制导武器为代表的现代化武器在战争中发挥着越来越重要的作用，但精确制导武器命中精度高的作战优势是以获得高品质的侦察信息为前提的。只有及时获取了目标可靠和准确的信息，才能对目标实施精确打击。红外成像目标跟踪技术近年来是视觉跟踪研究的热点。红外目标不同于可见光目标，目标的红外成像是目标表面温度分布的图像，反映的是目标表面温度的变化，具有目标成像面积小、信噪比低、对比度小和弱纹理等特点，这些都给红外目标的检测和跟踪造成一定的困难。

经过20多年的发展，涌现出了一批经典跟踪算法，2000年前后M.Isard和Comaniciu提出的粒子滤波跟踪方法[1]和均值偏移跟踪方法[2]，至今仍是视觉跟踪中研究的焦点。在随后的几年，视觉跟踪技术的发展多转向对目标描述的研究。目标描述主要包括目标的形状描述和外观描述，形状描述主要研究目标几何模型的表示方法；外观描述主要研究目标特征的描述和选择方法。在视觉跟踪中通常选择那些能有效区分目标和相邻背景或干扰的特征描述目标的外观，比较具有代表性的研究成果如Collins等提出的基于Fisher准则的特征选择方法[3]；Avidan提出的基于AdaBoost的特征选择方法[4]。另外，基于多特征融合的方法[5]也是目标描述的一个重要研究内容，该思路主要利用跟踪过程中目标特征之间的互补性实现目标描述的增强，进而达到提高跟踪性能的目的。近几年，基于范数最小化的目标稀疏描述[6]和多实例学习的跟踪方法[7]成为视觉跟踪研究领域的研究热点。基于深度学习的跟踪方法也是近几年视觉跟踪研究的热门[8]，最初由香港理工大学的Naiyan Wang提出。

1 MS跟踪算法

MS用于视觉跟踪，最初是由Comaniciu在2000年的CVPR会议上提出[9]，其本质是一种图像区域匹配的跟踪方法，其基本思想是首先在当前帧根据目标的中心位置和尺度计算目标图像区域的颜色密度分布作为目标模型；然后在下一帧以上一帧目标的中心位置为初始位置，计算目标候选区域的颜色密度分布；最后通过MS过程使得目标模型和候选图像区域的颜色分布的Bhattacharyya系数达到最大的位置即认为是目标所在的位置。

(1)

(2)

目标在搜索图像区域的位置可以通过最大化目标颜色密度模型和候选目标颜色密度分布的相似度得到，相似度通常用式(3)所示颜色密度分布的Bhattacharyya系数来测量，即

(3)

(4)

(5)

3) 计算权值{ωi}i=1…nh；

4) 根据式(5)计算目标在当前帧新位置x1；

2 多特征直方图MS跟踪

传统基于颜色密度分布的MS跟踪方法的最大优势，就是计算开销小，速度快，但颜色特征密度分布忽略了目标像素的空间位置信息，会导致传统MS跟踪方法在跟踪过程中出现跟踪偏差甚至丢失目标。但反映目标结构形状信息的梯度特征对光照变换不敏感，为此，在MS跟踪理论框架下融合目标颜色和形状信息来增强跟踪的鲁棒性。

2.1 多特征直方图

给出一种目标多特征直方图描述，在该直方图中，同时包含了图像区域的颜色、形状信息，其基本思想是在该直方图中，低直方柱用来描述图像区域颜色分布，高直方柱用来描述目标梯度方向信息，以M位灰度图像为例说明多特征直方图的计算方法。

对于M位灰度图像，其图像灰度等级可以量化为2M=L个等级。对于M位灰度图像，假设目标图像区域为R，其像素坐标为{xi}i=1,…,n，I(R)表示其图像灰度，则在x点处的梯度G(x)和梯度方向分别为

选择梯度幅值大于指定阈值的点梯度方向作为目标的特征，即

(8)

同样把梯度方向也量化为2M个等级，计算落入每个梯度方向等级的像素个数，得到多特征直方图。

多特征直方图实际上把M位灰度图像的每个像素的特征用M+1位表示，L个低直方柱来描述目标的灰度特征，L个高直方图来描述目标的灰度特征，直观上就是把两个特征的直方图串联成一个新的直方图。但实际上多特征直方图和两个特征直方图串联的直方图还有稍微的差别，因为在多特征直方图中每个像素只能统计一次，如果某个像素已经用来描述灰度特征，就不再用来描述梯度特征；如果某个像素已经用来描述梯度特征，该像素就不再用来描述目标的灰度特征，因此多特征直方图的计算相当于把目标图像区域的像素分为两组，一组用来描述灰度特征，一组用来描述梯度特征；而两个特征直方图串联的直方图则有的像素要统计两次，一次用来计算灰度特征直方图，一次用来计算梯度特征。

2.2 MS跟踪

(9)

通过MS迭代使得式(9)所示的相似度达到最大，即得到目标在当前帧的位置，重复此过程，即可实现对目标的跟踪。

2.3 实验

为验证本章基于多特征直方图MS跟踪方法的有效性，用海上目标的红外视频序列进行验证。

序列I描述的场景是海上一艘船从图像左侧往图像右侧航行，视频的开始由于摄像头的移动，船只的位置很快从图像右侧变换到左侧，然后摄像头保持静止，船只继续从图像左侧往右侧航行。图1给出了船只目标的部分跟踪结果，可以看出，本算法能够一直较为准确地跟踪目标。

序列II描述的场景也是海上一艘船从图像左侧往图像右侧航行，但由于摄像头的抖动，船只目标出现了上下快速移动，而且该船只目标中间成像较暗，两头成像亮。图2给出了目标的部分跟踪结果，可以看出，虽然由于摄像头的抖动导致目标上下晃动，但本章算法依然能较为准确地跟踪上目标。

图1 序列I跟踪结果

图2 序列II跟踪结果

3 结论

在传统MS跟踪算法的基础上，给出了一种基于多特征直方图的MS跟踪方法，该方法融合了目标的颜色和形状特征，增强目标的可区分度，提高了传统MS跟踪方法的鲁棒性和准确性，同时又能保持较低的计算开销和较高的跟踪速度，达到工程实用的目的。

[1] ISARD M,BLAKE A.CONDENSATION—Conditional density propagation for visual tracking[J].International Journal of Computer Vision,1998,29(1):5-28.

[2] COMANICIU D,RAMESH V,MEER P.Kernel-based object tracking[J].IEEE Trans Pattern Anal Machine Intell,2003,25(5):564-575.

[3] COLLINS RT,LIU Y,LEORDEANU M.Online selection of discriminative tracking features[J].IEEE Trans Pattern Anal Machine Intell,2005,27(10):1631-1643.

[4] AVIDAN S.Ensemble Tracking[J].IEEE Trans Pattern Anal Machine Intell,2007,29(2):261-271.

[5] PÉREZ P,VERMAAK J,BLAKE A.Data fusion for visual tracking with particles[J].Proceedings of IEEE,2004,92(3):495-513.

[6] MEI X,HAIBIN L.Robust visual tracking using l1minimization[C].IEEE International Conference on Computer Vision.2009:1436-1443.

[7] BABENKO B,MING-HSUAN Y,BELONGIE S.Visual tracking online multiple instance learning[C].In CVPR,2009:983-990.

[8] WANG Naiyan,YEUNG Dit-Yan.Learning a deep compact image representation for visual tracking[C]//Proceedings of Twenty-Seventh Annual Conference on Neural Information Processing Systems (NIPS),Lake Tahoe,Nevada,USA,2013.

[9] COMANICIU D,RAMESH V,MEER P.Real-time tracking of non-rigid objects using mean shift[C]//Proc.IEEE Conf.Computer Vision and Pattern Recognition,2000:142-149.

(责任编辑 杨继森)

Target Tracking in Infrared Image Based on Multi-Feature Histogram Algorithm

WANG Jiea, SUN Yanlia, ZHOU Weib

(a.Department of Basic Experiment； b.Research Institute of Information Fusion,Naval Aeronautical and Astronautical University, Yantai 264001, China)

According to the characteristics of the infrared image, using single color description is difficult to adapt to the complex tracking environment. Especially that the brightness around the target is similar to background, it will cause the tracking failure. A method combined color features and gradient features to describe the target under the MS track theoretical framework is proposed. The experimental results show the algorithm can track infrared moving target at sea.

infrared image; multi-feature histogram; target tracking; Meanshift algorithm

2017-04-21；

2017-05-23

王杰(1972—)，男，副教授，主要从事图像处理、系统分析研究。

10.11809/scbgxb2017.08.023

format:WANG Jie, SUN Yanli, ZHOU Wei.Target Tracking in Infrared Image Based on Multi-Feature Histogram Algorithm[J].Journal of Ordnance Equipment Engineering,2017(8):103-106.

TP751

A

2096-2304(2017)08-0103-04

本文引用格式：王杰，孙艳丽，周伟.基于多特征直方图的红外图像目标跟踪[J].兵器装备工程学报，2017(8):103-106.