苏 洁，印桂生，魏振华，刘亚辉

(1.哈尔滨工程大学计算机科学与技术学院，黑龙江 哈尔滨150001;2.哈尔滨理工大学 计算机科学与技术学院，黑龙江哈尔滨150080;3.华北电力大学控制与计算机工程学院，北京102206;4.北京信息科技大学计算中心，北京100085)

由于视觉跟踪对于噪声和光照环境的变化非常敏感，许多视觉跟踪算法，包括基于颜色的视觉跟踪算法在有噪声和光照环境变化情况下对目标的跟踪往往失败.为了实现复杂环境变化下的鲁棒视觉跟踪，Collins等［1-2］通过在线选取最能区分跟踪目标和背景的特征用于描述跟踪目标的表面模型，克服目标表面改变以及背景干扰对跟踪的影响，但不能很好地克服目标表面特征快速变化带来的影响，跟踪不稳定.Freedman等［3］通过计算目标的光照不变光流场，可以实现目标在剧烈光照变化情况下的跟踪，但计算量较大，难以实现实时跟踪.Han等［4］在图像检索中利用模糊C-均值聚类方法建立目标的模糊颜色直方图，克服了传统颜色直方图对光照变化及噪声较敏感的缺点，但是会减弱目标模型对前景及背景的可分性，无法实现对目标的稳定跟踪.基于边缘特征的视觉跟踪方法可以避免光照变化的影响，但是准确获取多目标的边缘特征是非常困难的，在边缘模糊和高噪声的图像序列中准确获取边缘特征更为困难.此外，多运动目标跟踪过程中的目标准确识别、目标相互遮挡以及定义目标的特征集等，都是目前研究多运动目标跟踪所存在的难题.基于优化M-S模型的多运动目标视觉跟踪方法是一种光照变化情况下实现多运动目标准确跟踪的新方法，通过精确提取每个目标的边缘特征、在复杂环境中准确定义和修正边缘特征实现联合粒子滤波框架下鲁棒的、精确的多运动目标跟踪［5］.

1 多目标识别与轮廓提取

1.1 M-S模型和C-V模型

Mumford和 Shah在20世纪80年代提出的Mumford-Shah模型是一种曲线演化拓扑的自调整分析模型，简称为M-S模型，能够通过局部边缘信息与整体均匀区域信息结合实现曲线边界的精确定位、抑制噪声［6］.M-S模型如下:

式中:α和β为非负整数，u0为定义在开集Ω∈R2的初始图像，闭集C∈R2为不连续集，表示区域界线的不连续点，如边缘和角点.u是一个逼近初始图像u0的平滑分段图像，M-S模型是寻找适当的u和C使得E(u，C)逼近最小值.

使用M-S模型求取数字解、进行逼近是困难的.C-V模型是M-S模型的简化模型:

式中:u、v、α和β为权值，满足u≥0，v≥0，α≥0，β≥ 0.图像u0被闭合曲线C分为内区域和外区域，c1和c2分别为2个区域的灰度均值.当C逼近均值区域u0的边界时，E(C，c1，c2)逼近最小值.

1.2 优化M-S模型

优化M-S模型可用于复杂环境下多目标准确识别，降低模糊边缘、噪声的影响.模型满足初始条件如下:

1)图像序列包含多个目标并且初始目标区域和背景区域没有相互重叠.

2)曲线C是由许多闭合曲线组成，将图像分成M个目标区域N个背景区域.

3)目标区域满足f(x，y)＞0，M个目标区域记为Ci，tar(i=1，2，…，M)，ci，tar为Ci，tar的特征值.

4)背景区域满足f(x，y)＜0，N个背景区域记为Cj，back(j=1，2，…，N)，cj，back为Cj，back的特征值.

ci，tar和cj，back是区域亮度值，优化的M-S模型如下:

优化M-S模型完成迭代计算后，为了标记图像序列中的多个运动目标，采用像素标记法标记区域［7］，如图1所示.

图1 区域标记Fig.1 Region marks

设M和N的初值为0，搜索规则从图像的左上点出发，从左到右，从上到下顺序进行扫描，对图像像素判别，若为目标区域像素，从该像素出发，执行区域生长，用变量M标记，区域生长结束后M+= 1;若为背景区域像素，执行区域生长，用变量N标记，区域生长结束后，N－=1.

优化M-S模型完成迭代计算后，执行区域标记.对于图像中的像素，执行上述操作直至图像扫描结束.

1.3 多目标轮廓提取

利用区域标记的多目标轮廓提取方法简单、有效，降低了计算复杂性.假定图像序列中包含的多个目标在初始情况下目标区域没有相互重叠部分，提取多目标轮廓方法如下:

1)定义距离函数为水平集函数，记为f(x，y);

2)初始目标数M和初始背景数N设定为0;

3)按照模型3所示的优化M-S模型迭代计算;

4)用区域像素标记法标记目标边界，如图2所示;

5)扫描边缘标记，记录多目标边缘点集.

图2 多目标边缘标记Fig.2 Mark of multi-target edges

2 建立目标边缘特征集

2.1 定义边缘特征向量

边缘特征向量的正确定义可以简化计算，降低采样粒子数，提高跟踪的实时性.二值差分图像点集定义为D={d1，d2，…，dm}.采用区域像素标记法，多目标的初始边缘点集定义为

对于目标边缘点集，采用Canny算子提取每个目标的边缘特征，采用Susan算子提取每个目标的角点信息.多目标边缘特征集定义为

2.2 修正边缘特征集

运动目标跟踪过程中的目标遮挡问题是视觉跟踪研究的难点.在跟踪过程中采用修正边缘特征集的方法可以解决目标部分遮挡问题，获取目标独立的、完备的边缘特征.实际场景中的目标数目固定不变，目标姿态只发生微小改变时，部分遮挡的目标在标记模版中体现为2种状态:1)标记模版中的目标数目不变，某些目标的轮廓发生改变;2)标记模版中的目标数目减少，某些目标的轮廓发生改变.

第1种状态证明没有发生多目标相互遮挡，轮廓变化的目标可以参照初始目标标记，采用对图像噪声不敏感的Hough变换方法和膨胀方法恢复其轮廓，提取其完备的边缘特征.第2种状态说明在运动过程中至少有2个目标相互遮挡，采取如下所示分裂方法识别目标、提取目标特征集:

1)当前目标标记与初始目标标记对照，利用边缘特征检测相互遮挡的目标;

2)根据初始目标标记，在当前模版中标记目标未遮挡部分，如图3所示;

3)采用Hough变换和膨胀方法独立恢复遮挡目标的轮廓;

4)重标记每个目标的遮挡部分.

采用定义目标特征集的方法，根据重目标标记模版定义每个目标的独立边缘特征集.

图3 标记目标未遮挡部分Fig.3 Unshielded part of the marked targets

3 基于目标边缘特征的多目标跟踪

目标跟踪被看作是连续状态估计问题.经典的卡尔曼滤波只能够处理线性、高斯和单模态问题，而实际的后验概率通常为非线性、非高斯、多模态问题.利用粒子滤波方法可以解决运动目标跟踪的非线性、非高斯、多模态问题［8］.

3.1 粒子滤波跟踪

根据粒子滤波理论，如果目标状态已知xk－1，后续状态xk可以利用下式通过计算后验概率密度获得

p(xk|zk)用加权的后验采样粒子集合表示:

1)估计前验分布p(x0).采用优化M-S模型的方法获取运动目标的轮廓，建立目标特征集.定义初始分布为p(x0).

2)定义预测模型p(xk|xk－1).

3)定义p(zk|xk)以估计

3.2 多目标跟踪的联合多滤波

使用一个滤波器完成多目标跟踪时，对每个目标的跟踪可以看作估计该滤波器的联合配置分布问题.该方法虽然有效，但是会导致昂贵的计算代价，其计算复杂度与更新递归的计算复杂度一样，计算量随着目标数指数倍增长［9-10］.

为了降低计算复杂度，用简化的联合多滤波方法替代上述方法.使用多个滤波器，每个跟踪器跟踪一个目标，估计跟踪目标的演化.在动态模型和观测模型是可分的前提下，当初始目标分布可分时，后验概率是可分项.应用该法方法执行多目标跟踪降低了计算复杂度，使计算量随着目标数目的增长而线性增长，使计算由指数级复杂度降低为线性复杂度.

简化联合多滤波方法的关键问题是如何提取多个运动目标的独立边缘特征，尤其是在多个目标运动过程中出现遮挡情况下如何建立目标独立、完备的边缘特征集.由于初始情况下的多个目标无相互遮挡，目标边缘点集相互独立，可以利用区域标记模板建立独立的目标边缘特征集.目标在运动过程中出现遮挡情况时，在区域标记模板上执行遮挡目标分裂，利用Hough变换、膨胀算法恢复目标轮廓，在区域标记模板上独立标记各个目标，提取目标独立的边缘点集，建立目标独立的、完备的边缘特征集.

多目标边缘点集记为E=E1∪E2∪…∪EM，由于可以提取独立的目标边缘点集，利用目标点集独立滤波事件的相互独立性可证，即利用各目标点集独立滤波的事件记为Ai(i=1，2，…M)，A1，A2，…，AM相互独立，则有多目标联合滤波事件概率满足:

多目标联合滤波的目标集用向量X描述，xit表示目标i在t时刻的状态，i=1，2，…，M.多目标的联合分布近似表示为如下:

式中:Xi为多目标在t时刻的状态，zt－1为t－1时刻的观测值)为目标i在t=0时刻的分布，为已知值，p(X0)为多目标在t=0时刻的分布，描述为独立的初始分布.对于合理观测率，p(xt|xt－1)下的演化操作动态部件由独立的单一目标重要性分布q控制，在此基础上增加联合因子.定义的模型如下

采用优化的M-S模型，利用区域标记模版可以识别目标区域，区域不再相互依赖，图像序列中的观测模型为可分项，如下:

上述定义的观测模型对于部分和完全干扰具有鲁棒性，符合目标块的统计独立性.

3.3 基于边缘特征的联合滤波多目标跟踪

基于目标边缘特征的联合滤波多目标跟踪的实施方案如下:

1)识别目标，用区域像素标记法标记目标.在图像序列中检测目标遮挡情况，如果存在目标遮挡问题，执行目标分裂，在模版上重标记目标.

2)定义边缘特征向量，利用标记模版建立多目标特征集.

3)在联合粒子滤波多目标跟踪框架下实施多目标跟踪.

4 仿真实验与分析

4.1 仿真实验

在复杂环境中选取不同对象作为跟踪目标.测试使用的视频序列为380×240像素.为了给出清晰的实验结果，实验1与实验2使用Bk={ux，uy，W，H}给出跟踪实验结果，ux和uy为目标中心的二维坐标，H和W分别为矩形区域的高和宽，如图4、5所示.实验3对于形状规则运动目标跟踪，在利用目标边缘特征点集联合滤波计算之后，使用拟合的曲线给出目标近似边缘，表示跟踪的实验结果，如图6所示.

图4给出了真实视频中的目标跟踪结果.实验表明该方法能够在复杂环境中识别多个运动目标的轮廓，在噪声情况下对于运动的多目标可以准确跟踪.图5是在光照条件较差情况下的实验结果.

图4 跟踪缓慢运动的多目标Fig.4 Track slowly moving multi-targets

图5 光照环境较差情况跟踪缓慢运动多目标Fig.5 Track slowly moving multi-targets while illumination environments are bad

在光照条件较差情况下，采用基于颜色特征、文理特征的跟踪方法往往会失效;采用基于模型的跟踪方法可以取得较好效果，但是模型的建立较为困难;采用基于边缘特征的跟踪方法不会受到光照影响.实验证明，基于优化M-S模型的鲁棒多目标跟踪方法取得了较为理想的实验结果.

图6 跟踪形状规则运动目标Fig.6 Track moving targets with normal shape

对于图6所示形状规则运动目标，使用优化MS模型和标记模板准确提取了目标边界和边缘特征，目标姿态在运动过程中发生轻微改变，但是跟踪结果显示该方法能够实现实时的、准确的跟踪.

4.2 实验结果分析

用目标跟踪有效率η验证跟踪算法的性能.η定义为

式中:Ne为准确跟踪帧数，N有效跟踪帧数.从跟踪算法的实时性、准确性和鲁棒性分析，在噪声增大、光照变化和运动目标相互遮挡情况下分别使用经典的差分跟踪算法、基于颜色特征的跟踪算法和基于优化M-S模型的鲁棒跟踪算法分别对同一视频序列中的目标在40 s内跟踪，图7给出了3种算法的跟踪效率.

图7 经典跟踪算法性能比较Fig.7 Performance comparison of classic tracking methods

由图7(a)可以看出基于优化M-S模型的鲁棒跟踪算法对环境噪声的影响较小，实验中的跟踪有效率控制在95%以上.图7(b)可以看出基于优化M-S模型的鲁棒跟踪算法使用边缘特征跟踪，对光照变化不敏感.图7(c)可以看出基于优化M-S模型的鲁棒跟踪算法出现丢失目标情况，这是由算法本身迭代计算复杂性决定的.影响跟踪的实时性的因素主要有2个:M-S模型本身的计算复杂性、粒子滤波中的冗余粒子.运动目标在20 s出现相互遮挡，基于差分方法的跟踪算法和基于颜色特征的跟踪算法跟踪有效率不稳定，出现明显降低，而基于优化M-S模型的跟踪算法跟踪有效率相对稳定.

理论上采样数越多，跟踪越有效和准确，等价表示为所需的概率密度函数.实际中，选择太多的采样粒子会降低跟踪的实时性.基于优化M-S模型的鲁棒多目标跟踪方法选择多目标的边缘特征集作为粒子采样区，有效降低了冗余粒子数，提高跟踪的实时性.另一方面，简化的联合粒子滤波方法利用标记模板将每个目标看作独立的个体实现滤波计算，使得算法复杂度由指数复杂度降低为线性复杂度，提高了跟踪的实时性.2种解决方案使得方法最终获得折衷的实时跟踪效果.

5 结论

1)利用M-S模型，通过合理定义多目标的边缘特征集和多目标标记模板方法实现了多遮挡运动目标的精确识别;

2)利用联合滤波框的多目标跟踪方法降低了计算复杂度，使跟踪复杂度随跟踪目标数目线性增加;

3)利用目标边缘特征和标记模板的跟踪降低了光照变化的敏感性;

4)在多个真实场景中的实验结果表明:较差分跟踪算法、基于颜色特征的跟踪算法，该方法具有简单、快速、准确的优点，在自然光照变化环境中和较大噪声情况下，能够准确识别多目标，克服了光照变化环境和噪声对视觉跟踪算法的影响.

在此基础上，如何进一步提高多运动目标跟踪方法的实时性是今后研究工作的重点.

［1］DORIN C，VISVANATHAN R，PETER M.Kernel-based tracking［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2003，25(5):564-577.

［2］COLLINS R T，LIU Y.On-line selection of discriminative tracking features［C］//Proc of IEEE Conference on Computer Vision.Nice，France，2003:346-352.

［3］FREEDMAN D，TUREK M.Illumination-invariant tracking via graph cuts［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Los Alamitos，USA，2005: 10-17.

［4］HAN J and MA K.Fuzzy color histogram and its use in color image retrieval［J］.IEEE Trans on Image Processing，2002，11(8):944-952.

［5］ZHOU S K，CHELLAPPA R，MOGHADDAN B.Visual tracking and recognition using appearance-adaptive models in particle filter［J］.IEEE Transaction on Image Processing，2004，13(11):1491-1506.

［6］原达，张彩明，李晋江，刘晓华.基于Mumford-Shah模型的高精度MR图像轮廓提取算法［J］.计算机学报，2009，32(2):269-274.

YUAN Da，ZHANG Caiming，LI Jinjiang，LIU Xiaohua.A high-accuracy contour extraction algorithm for MR image based on Mumford-Shah model［J］.Chinese Journal of Computers，2009，32(2):269-274.

［7］章毓晋.图像处理和分析［M］.北京:清华大学出版社，1999:195-207.

ZHANG Yujin.Image process and analysis［M］.Beijing: Tsinghua University Press，1999:195-207.

［8］刘洋，李玉山，张大朴.基于动态目标建模的粒子滤波视觉跟踪算法［J］.光子学报，2008，37(2):375-380.

LIU Yang，LI Yushan，ZHANG Dapu.Visual tracking based on dynamic object modeling in particle filter［J］.Acta Photonica Sinica，2008，37(2):375-380.

［9］LANZ O.Approximate Bayesian multibody tracking［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2006，9(28):1436-1450.

［10］LANZ O，MANDUCHI R.Hybrid joint-separable multibody tracking［C］//Proc Int＇l Conf Computer Vision and Pattern Recognition.San Diego，USA，2005:413-420.