刘淑娇　冯子亮　薛宾田

(四川大学计算机学院　成都　610065)



基于模糊逻辑的多特征融合的SOAMST跟踪算法*

刘淑娇冯子亮薛宾田

(四川大学计算机学院成都610065)

摘要针对复杂环境条件下颜色、光照变化和遮挡对目标跟踪算法精度和鲁棒性的影响,论文提出了基于模糊逻辑多特征融合的SOAMST跟踪算法。首先,选择颜色特征和LBP特征对目标进行建模,并根据模糊逻辑算法调整两种特征在计算目标质心位置和权重图像中的权重;其次,目标被遮挡暂时消失时,根据SOAMST算法得到上一帧目标的状态信息,调用粒子滤波算法对目标位置进行预测,可以避免丢失跟踪目标,实现目标连续跟踪。实验表明,论文算法在复杂环境条件下能很好地实现目标跟踪。

关键词目标跟踪; SOAMST算法; 模糊逻辑; 粒子滤波

Class NumberTP391

1　引言

目标跟踪是计算机视觉领域的重要问题,它在智能交通、安防系统和军事方面的应用越来越广泛。目前已经提出了Mean Shift算法、CAMSHIFT[1]算法、SOAMST算法、卡尔曼滤波算法[2]、粒子滤波[3]等经典算法,但这些算法大多只在特定的情况下才跟踪准确。如何在复杂情况下,如光照发生变化、目标被遮挡等情况下快速准确地跟踪目标依然是研究热点。

Mean Shift[4～5]算法计算量小、简单易实现,改进算法很多;如SOAMST[6]算法就在Mean shift算法的基础上,具有尺度和方向自适应等优点;在目标的大小、方向发生变化时,目标不易丢失。但是在复杂环境条件下,依然存在目标跟踪失败等问题[7]。

本文提出的跟踪算法首先选择颜色特征和LBP特征建立目标模型,在跟踪过程中根据模糊逻辑算法自适应地调节两种特征值的比例,以提高跟踪的准确性;当目标被遮挡暂时消失时,调用粒子滤波算法进行位置预测,以提高跟踪的准确性。

2　SOAMST算法

SOAMST算法是一种尺度和方向自适应的Mean Shift跟踪算法,该算法主要通过Mean Shift的权值图像及目标模型和候选模型的Bhattacharyya系数估计目标的尺寸大小[8]。

通常情况下,视频相邻帧中目标的变化较小。如果将上一帧中目标所在的窗口稍微放大作为当前帧的目标候选区域,即使目标的尺度和运动方向有变化,依然可以实现目标跟踪。SOAMST算法使用密度分布函数和图像权重特征,能很好地估计目标真实的尺度和运动方向。

2.1目标区域估计

目标区域的估计与候选区域每个像素点的权重系数有关。当目标的大小发生变化时,通过使用每个像素的权重特征来获得目标区域的估计。

假设图1(a)是三种灰度组成的一个合成目标,图1(b)是大于目标的候选区域,图1(c)、(d)、(e)是分别当合成目标减少、不变、增大时计算的跟踪结果。

图1　目标区域估计

因为候选区域的每个像素的权重代表像素属于目标的可能性,所有像素的权重之和也就是零阶矩,被看作是目标候选区域的目标加权面积。

(1)

式中nk表示候选目标的个数,ωi表示每个点对应的权重。

由于背景像素的影响,用零阶矩M00估计出的面积都将大于真实目标的面积。零阶矩M00与真实目标的面积差距越大,说明目标模型和目标候选模型的相似度越小,可以看出零阶矩M00估计目标面积的可靠性和Bhattacharyya系数是成正比的。所以可以将零阶矩M00和Bhattacharyya系数结合起来,求出真实目标面积。用A表示真实面积,M00表示零阶矩,ρ表示Bhattacharyya系数,估计面积就可以用下面的式子表示:

A=c(ρ)M00

(2)

式中,c(ρ)是关于Bhattacharyya系数ρ(0≤ρ≤1)的单调递增函数。M00总是比真实的目标区域大并且随着ρ的增加M00单调接近真实目标区域。

2.2目标的宽度、高度和方向估计

既然已经能够估计出目标区域,接下来需要估计目标的宽度、高度和方向估计。通过下面的公式能估计出图像的权重:

(3)

(4)

在候选模型中(xi,1,xi,2)是像素i的坐标。y1实际上是一阶矩和零阶矩的比值:

(5)

(6)

式(6)可以写成下面的协方差矩阵以便估计目标的宽度、高度和方向。

(7)

通过使用奇异值协方差矩阵[9]能被分解成如下:

(8)

由于权重作为可信的密度分布函数,通过矩阵U估计出的方向比连续自适应算法更可靠。而且在连续自适应算法,λ1和λ2直接作为目标的宽度和高度,SOAMST算法提出更准确地估计目标的宽度和长度。

假设用椭圆形代表目标,a和b分别代表长半轴和短半轴的长度。代替用λ1和λ2代替宽度a和高度b,发现λ1和λ2的比值非常接近a和b的比值。也就是说λ1/λ2=a/b。所以设a=kλ1和=kλ2,k是比例因子。由于估计目标区域A,有πab=π(kλ1)(kλ2)。

3　对SOAMST算法的改进

3.1使用模糊逻辑多特征对目标进行建模

SOAMST算法建立目标模型时仅使用颜色特征,尽管颜色特征对目标的尺度、方向、视角的依赖性较小,在跟踪过程中具有较高的鲁棒性,但是当跟踪过程中背景的颜色和目标本身的颜色相近时,按照SOAMST算法得到的候选目标中每个像素点的权重的误差会很大。所以在这种情况下估计出的目标的尺寸和方向也是不准确的。

为了提高目标模型与背景的区分性,必须在目标模型中加入其它特征并且这种特征对颜色具有不敏感的特性,本文选择局部纹理特征LBP特征作为第二个特征加入到目标建模中来提高模型的区分能力。

在目标跟踪过程中,需要对候选目标区域分别计算颜色直方图和LBP特征直方图,然后分别和目标直方图进行比较求解相似度,得到相应的权重图像,最后根据一定的规则将这个两个权重图像进行合并得到最终的权重图像,和目标的真实质心位置,如下式定义。

ωi=αωi,rgb+(1-α)ω1,lbpy1=αy1,rgb+(1-α)y1,lbp

(0<α<1)

(9)

式中ωi是调整后的每个点的权重,y1是调整后的质心的位置,ωi,rgb,ωi,lbp分别对应每个点在RGB模型和LBP特征模型情况下的权重,α用来调节这两项所占比重。

3.2将SOAMST算法和粒子滤波算法结合

SOAMST算法的另一个缺点是当目标暂时丢失或者消失时,不能很好估计目标的当前位置,并且不能在目标重新出现后快速地检测出目标出现的位置。在实际的目标跟踪过程中目标发生旋转或者暂时被遮挡的情况经常出现,所以一般的目标跟踪应用都应该具有处理这种情况的能力。

对于目标暂时消失的问题,本文利用粒子滤波的思想[10～11]解决。以上一帧人脸出现的位置为中心按高斯分布的方式撒一些粒子作为目标候选区域,高斯分布的参数由上一帧人脸区域的大小和位置决定。首先根据状态方程,计算出当前帧每个粒子状态,然后以每个粒子与目标模型的相似度作为粒子的权重的系数,对粒子的状态进行加权求和,得到目标的当前位置和速度。

图2是基于粒子滤波和SOAMST人脸跟踪算法流程图。

图2　基于粒子滤波和SOAMST人脸跟踪算法流程图

4　实验结果和分析

使用多组视频对算法的有效性进行测试,包括目标与背景颜色相似、光照变化和遮挡三种复杂情况下的跟踪效果。视频序列1是目标与背景颜色相似,图3是本文算法的跟踪结果。视频序列2是光照发生变化,图4是本文算法的跟踪结果。视频序列3是目标被遮挡,图5是本文算法的跟踪结果。

图3　本文算法的跟踪结果

图4　本文算法的跟踪结果

图5　本文算法的跟踪结果

从图3～图5中知,本文的方法能有效地跟踪目标。

5　结语

本文使用模糊逻辑对多特征目标进行建模,实现了多个特征的互补,准确有效地估计出目标的尺度和方向。当目标暂时消失或遮挡时,本文使用粒子滤波实现目标的重新跟踪。实现表明,本文方法能有效地跟踪目标。

参 考 文 献

[1] Bradski G R. Computer Vision Face Tracking For Use in a Perceptual User Interface[J]. IEEE Trans Aerospace & Electronic Systems,1998,q2:214-219.

[2] R E Kalman. A new approach to linear filtering and predictiontheory[J]. J. basicEng. trans. asme,1960,82(1):35-45.

[3] Gordon N J, Salmond D J, Smith A F M. A novel approach to nonlinear and non-Gaussian Bayesian state estimation[J]. IEEE Proceeding,1993,140:107-113.

[4] Cheng Y. Mean Shift, Mode Seeking Clustering[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,1995,17:790-799.

[5] D Comaniciu, V Ramesh, P Meer. Real-time Tracking of using Non-rigid Objects using Mean Shift[C]//South Carolina: IEEE Computer Society,2000:2142-2142.

[6] Ning J, Zhang L, Zhang D, et al. Scale and orientation adaptive mean shift tracking[J]. Computer Vision Iet,2012,6(1):52-61.

[7] Srikrishnan V, Nagaraj T, Chaudhuri S. Fragment based trackingfor scale and orientation adaption[C]//India: Sixth Indian Conference on Computer Vision, Graphics & Image Processing,2008:328-335.

[8] Collins RT. Mean-shift blob tracking through scale space[C]//California: IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2003:234-234.

[9] Johnson, Charles R. Topics in matrix analysis[M]. UK: Cambridge University Press,1991:134-231.

[10] Crisan D, Doucet A. A survey of convergence results on particle filtering methods for practitioners[J]. IEEE Trans. on Signal Processing,2002,50(2):736-746.

[11] Doucet A, Freitas J, Gordon N. Sequential Monte Carlo Methods in Practice[M]. New York: Springer,2001:3-14.

收稿日期:2015年10月5日,修回日期:2015年11月20日

作者简介:刘淑娇,女,硕士,研究方向:目标检测与跟踪。

中图分类号TP391

DOI:10.3969/j.issn.1672-9722.2016.04.016

SOAMST Tracking Algorithm Based on Fuzzy Logic of Multiple Feature Fusion

LIU ShujiaoFENG ZiliangXUE Bintian

(Sichuan University, College of Computer Science, Chengdu610065)

AbstractIn view of the complex environment conditions which are color, illumination changes and occlusion influence target tracking algorithm accuracy and robustness, SOAMST tracking algorithm based on fuzzy logic multiple feature fusion is proposed in this paper. In the first place, a color feature and LBP feature choosen to establish target modeling, and according to the fuzzy logic algorithm the weights of these two characteristics in calculating barycentric position of the target and weight image are adjusted. Then, when the target is occluded and disappeared, the preceding frame of the target state information is obtained, and target positioninvoking particle filter algorithm is forecasted, in this way it can avoid losing track the target, thus realizing continuous target tracking. Experiments show that the algorithm in this paper can well realize target tracking on the complex environment conditions.

Key Wordstarget tracking, SOAMST algorithm, fuzzy logic, particle filter