刘元龙　李玉惠

(昆明理工大学信息工程与自动化学院　昆明　650500)



基于色彩相关直方图与SIFT特征融合的粒子滤波跟踪算法*

刘元龙李玉惠

(昆明理工大学信息工程与自动化学院昆明650500)

摘要论文提出了基于色彩相关直方图与尺度不变性特征(SIFT)相融合的粒子滤波跟踪算法,该方法克服了在跟踪过程中运动目标的遇到形变以及目标被短暂遮挡丢失的问题。特别是提高了当运动目标与背景相近的情况下的跟踪效果。该算法在粒子滤波算法基础上将目标色彩相关直方图作为目标的一种描述特征,用于评价不同预测状态与观测状态之间的色彩相关性。依靠尺度不变性特征保证克服运动目标的仿射变化的特性,将色彩相关性特征与尺度不变性特征进行特征融合,从而提高目标描述的可靠性及跟踪的准确性。实验结果表明,该算法优于传统粒子滤波的跟踪算法。

关键词色彩相关直方图; SIFT; 粒子滤波; 信息融合

Class NumberTP301.6

1引言

在智能安全监控、精确制导系统、人机交互、机器视觉和导航领域,视觉跟踪技术有着非常广泛的应用。在视觉跟踪的众多方法中,有一种称作序贯蒙特卡罗方法(Sequential Monte Carlo methods,SMC)[1～2]也称为粒子滤波。粒子滤波适用于非高斯非线性目标的跟踪,然而传统的粒子滤波跟踪对于形变以及光照变换目标的跟踪效果不理想[3]。本文在传统粒子滤波的框架下,提出了基于色彩直方图与SIFT特征[4～5]融合的粒子滤波跟踪算法,该算法一方面利用了色彩直方图对目标对于光照变化的鲁棒性和在目标与背景色彩相近情况下良好的区分性等优点,另一方面,在融合了尺度不变性特征之后可以克服目标的仿射变化[6],最终提高描述目标的可靠性。

2基于色彩相关直方图与SIFT特征融合的粒子滤波

2.1粒子滤波

现粒子滤波(Particle Filter)是一种非线性滤波方法,它以贝叶斯估计为基础,其核心思想是使用随机样本集合(粒子)来表示需要的后验密度,集合中的各个粒子具有相应权值。

采用式(1)和式(2)描述动态系统:

xk=fx(xk-1,vk-1)

(1)

zk=hk(xk,nk)

(2)

其中,式(1)表示系统的状态转移方程,式(2)表示系统的测量方程。

(3)

在此之前需要对权值进行归一化处理。其中,权值通过重要性采样法选择[7～8]。权值被修正后为

(4)

将重要性密度函数带入粒子滤波算法,即

(5)

对权值做公式做简化处理后可以得到:

(6)

2.2目标运动模型

(7)

为了模拟随着时间的变化目标的状态也要跟着变化,这里需要使用一个随机扰动模型来描述:

(8)

式中,T为采样周期;Wt为一个还有多个变量的高斯白噪声。

2.3色彩相关直方图特征模型

关于色彩相关直方图[10]可以作如下定义:令距离为d∈[n]这个值为一个先验固定值,那么在图像I中关于i,j∈[m],k∈[d]的色彩相关直方图定义为

(9)

根据上述的定义可以将色彩相关直方图理解为由距离和色彩对作为索引的一个索引表。在这个表中,关于〈i,j〉的第k条内容可以表示为:在与色彩为i的像素相距为k的地方找到色彩为j的像素概率值。

假如想要评价图像I中相同色彩之间的相关性,那么可得图像I的色彩自相关直方图。由此,图像I关于色彩ci,距离k的自相关直方图可以表示为

(10)

色彩自相关直方图可以理解成对同一种色彩根据在空间上的一种相关性描述,严格来说,它是相关直方图的一个子集。

计算色彩相关直方图首先需要计算得到灰度图像共生矩阵的值:

(11)

然后将θ1的色彩固定为ci,计算条件概率

(12)

式中,分子含义是在图像I中,相距为k,ci,cj的色彩对数目;分母表示相距为k的任意色彩对的数目。因子8k是从中心点到L∞范数定义的距离为k的像素数目。因此,色彩相关直方图实际上描述一个条件概率分布,这个分布随着k变化而变化。

本文实验在RGB颜色空间中将各个颜色分量分成16个等级,也就是m=16×16×16=4096种颜色。用St表示目标的状态,其中(x,y)为目标矩形区域的中心,2hx和2hy分别为矩形区域的长和宽,选取距离k={1,3,5},目标矩形区域内的两个像素点分别为θ1和θ2。则目标区域中的色彩自相关直方图为

(13)

其中,ci={c1,c2,…,cm}。

(14)

对于色彩空间为RGB的三通道的情况,模板与候选目标之间的自相关直方图测度为

(15)

在得到两种分布之间的距离测度之后,选择如下的观测似然函数:

(16)

式中,σ为高斯方差,实验中取为0.2。式中的值越大说明候选目标与目标模板的色彩相关直方图越相似,候选目标为真实目标的可能性越大。

2.4尺度不变特征模型

为应对光照变化以及仿射变化(平移、缩放、旋转、错切变化),本文采用SIFT方法来描述目标,运用的是目标的局部特征信息,因而对目标发生部分遮挡的情况也具有较强的鲁棒性。该方法利用DOG方法来检测尺度空间中的极值点,如果一个像素点与它同尺度的8个相邻点以及上下相邻尺度对应的9×2点共26个点进行比较,都为最大值或最小值,那么就认为这个像素点是图像在该尺度下的一个特征点。然后以特征点为中心,在4共16个区域内分别计算8个方向的剃度方向直方图,从而用一个128维的特征向量来描述一个SIFT特征点。

psift(zt|xi)=1-exp[-match(Sq,Sp)]

(17)

其中:match(Sq,Sp)用与计算目标目标模型和候选模型中相匹配的SIFT特征点的数目。由式(17)可知,当候选模型与目标模型匹配的SIFT特征点越多,值越大,候选目标为真实目标的可能性越大。

2.5基于色彩相关直方图与SIFT特征融合的粒子滤波跟踪算法描述

综合前面的论述,在得到上述两种特征将其两种特征简单地以各占50%的比率进行加权求和,求和公式为

(18)

基于色彩相关直方图与SIFT特征融合的例子滤波跟踪算法的流程描述如下

7) 计算t时刻目标状态的估计值。

8) 置t=t+1,转到2)。

3实验结果与分析

采用三组实验视频对本文算法进行验证,并且将本文算法和基于颜色直方图的粒子滤波跟踪方法进行比较。这几组视频包括了目标的任意平移、转动、遮挡、相似物干扰以及光照变化等一些复杂情况,实验中是以手动方式选定目标,每个目标模版采用150个粒子。

在第一组考试视频中,对考场内监考教师进行跟踪。图1(a)是基于颜色直方图的粒子滤波跟踪方法,图1(b)是基于色彩相关直方图与SIFT特征融合的粒子滤波跟踪方法。从图中可以看出当目标远离摄像机而变小,并且在运动过程中肢体形状发生变化时,基于基于颜色直方图的粒子滤波跟踪方法受到影响,出现偏移,而本文所述的方法能够较稳定地跟踪目标。

在第二组实验视频中,对街道上行人进行跟踪相对于第一组视频,跟踪目标的大小变化程度更大,同时还存在着目标被短暂遮挡的情况。图2(a)是基于颜色直方图的粒子滤波跟踪方法,在跟踪的过程中受遮挡的影响,出现了目标丢失的情况。而图2(b)是本文的方法所得的跟踪结果,从图中可以看出,虽然会受到短暂遮挡的影响,但在后续的跟踪中没有将目标丢失,依旧能够较好地跟踪目标。

图1　考场内监考教师跟踪结果对比

图2　室外行人跟踪结果对比

在第三组实验视频中,对高速公路上航拍车辆进行跟踪。可以看出道路颜色与被跟踪车辆的颜色非常相近。图3(a)是基于颜色直方图的粒子滤波跟踪方法的跟踪结果,可以看出在跟踪的过程中由于受到背景颜色相似的影响红色方框偏离了真实的目标位置。而本文提出的方法却没有发生跟踪偏离的现象,如图3(b)所示。

图3　高速航拍车辆跟踪结果对比

4结语

针对基于颜色粒子滤波算法在目标发生仿射变化和当目标与背景相近时跟踪效果不理想的问题,本文提出了基于色彩相关直方图与SIFT特征融合的粒子滤波跟踪算法,该方法从提高特征描述的可靠性入手,一方面引入颜色相关直方图作为目标模版的一个描述特征;另一方面将其与SIFT特征融合从而克服上述情况对跟踪准确性的影响,增强了跟踪的准确性。实验结果表明本算法能够对目标发生仿射变化、目标与背景相近、短暂遮挡等情况下实现的跟踪具有较好的稳定性和准确性。然而本文只是将两种特征做了简单的融合,并没有对这两种特征就重要性权重方面做分析研究。所以为了进一步提高特征描述的可靠性,下一步的研究工作将对特征的融合方法进行改进。

参 考 文 献

[1] Gordon N J, Salmond D J, Smith A F M. Novel approach to nonlinear/non-Gaussian Baysian state estimation[J]. IEEE Proceedings of Radar and Signal Processing,1992,140(2):107-113.

[2] Arulampalam M, Maskell S, Gordon N. A tutorial on particle filters for online non-linear/non-Gaussian Bayesian tracking[J]. IEEE transactions on Signal Processing,2002,50(2):174-188.

[3] Ning J, Zhang L, Zhang D, et al. Robust mean-shift tracking with corrected background-weighted histogram[J]. Computer Vision,2013,6(1):62-69.

[4] CHEN A H, ZHU M, WANG Y H. Mean shift tracking combining SIFT[C]//ICSP2008 Proceedings. Leipzig, Germany, Springer LNCS,2008:1523-1535.

[5] ZHOU H, YUAN Y, SHI C. Object tracking using SIFT features and mean shift[J]. Computer Vision and Image Understanding,2009,30(4):345-352.

[6] 杨晓峰.基于仿射变换模型的图像目标定位跟踪方法[D].武汉:华中科技大学,2005:42-49.

YANG Xiaofeng. Image target tracking method based on the affine transformation model[D]. Wuhan: Huazhong University of Science and Technology,2005:42-49.

[7] Kalva H, Petljanski B. Exploiting the directional features in MPEG-2 for H.264 intra transconding[J]. IEEE Transactions on Consumer Electrnics,2006,52(2):706-711.

[8] Doucet A, Godsill S, Andrieu C. On sequential Monte Carlo sampling methods for Bayesian filtering[J]. Statics and Computing,2000,10(1):197-208.

[9] Kim J B, Lee C W, Lee K M, et al. Wavelet-based vehicle tracking for automatic traffic surveillance[C]//IEEE Region 10 International Conference on Electrical and Electronic Technology. Singapore,2001:313-316.

[10] 臧雪柏,孙毅,王慧,等.基于空间和颜色自相关的直方图目标检测方法[J].吉林大学学报(工学版),2008,(S2):202-204.

ZANG Xuebai, SUN Yi, WANG Hui, et al. Target detection method based on spatial and color histogram of autocorrelation[J]. Journal of Jilin University of Technology,2008,(S2):202-204.

收稿日期:2016年1月11日,修回日期:2016年2月13日

作者简介:刘元龙,男,硕士,研究方向:智能视频图像处理。李玉惠,女,教授,研究方向:数字水印、智能视频图像处理。

中图分类号TP301.6

DOI:10.3969/j.issn.1672-9722.2016.07.012

Particle Filer Tracking Algorithm Based on Fusion of Color Correlogram and SIFT Features

LIU YuanlongLI Yuhui

(College of Information Engineering and Automation, Kunming University of Science and Technology, Kunming650500)

AbstractThis paper proposes a tracking algorithm based on particle filter algorithm with color correlogram and SIFT features. In the process of tracking, this algorithm has attractive result to resolve the problem of target losing no matter when the target was obscured or when target deformation occurred. The tracking effect is especially improved when moving target is similar to background in color. To evaluate different color correlation between prediction and observation state, the algorithm adopts color correlogram as one describe feature. To overcome the affine change characteristics of target, the SIFT feature is also adopted. With the color correlogram and SIFT features fusion, both the reliability of features description and accuracy of tracking is improved. This algorithm is superior to the traditional particle filter tracking algorithm.

Key Wordscolor correlogram, SIFT, particle filter, feature fusion