吴静静，尤丽华，安　伟，宋淑娟，周德强

（1.江南大学机械工程学院，江苏无锡214122；2.江苏省食品先进制造装备技术重点实验室，江苏无锡214122）

基于概率假设密度的目标数变化视频跟踪算法

吴静静1，2，尤丽华1，2，安伟1，2，宋淑娟1，2，周德强1，2

（1.江南大学机械工程学院，江苏无锡214122；2.江苏省食品先进制造装备技术重点实验室，江苏无锡214122）

针对概率假设密度（PHD）滤波无法跟踪未知起始位置新生目标的问题，提出一种基于新生目标强度检测的PHD跟踪框架.针对原高斯混合PHD无法确定目标航迹问题，在跟踪框架中设计了基于auction的“航迹-状态估计”关联算法，给出了航迹识别的数学表述和具体实现方法.然后，给出了变目标数的多目标跟踪框架的高斯混合实现方法.采用MATLAB编程实现了所提出算法，并使用因目标新生和遮挡导致目标数变化的2种行人数据库进行了验证试验.结果表明，新算法通过目标位置观测值更新新生目标的强度函数，提高了PHD滤波对新目标和遮挡目标的响应性，能够有效跟踪任意时刻未知位置的新生目标，并能够输出目标航迹，提高了多目标跟踪的目标数估计准确性，降低了跟踪误差.

多目标跟踪；概率假设密度；新生目标；高斯混合；航迹识别

doi∶10.3969/j.issn.1671-7775.2015.06.014

视频目标跟踪的目的是根据目标的特征如位置、速度、色彩、形状、纹理等以及目标描述模型在连续图像帧之间建立对应关系，进而获得目标位置和形状等目标状态信息.一般视频目标跟踪方法可以分成2类∶①数据驱动算法，直接建立目标模板和候选区域的相似度函数，利用匹配运算或优化算法将跟踪问题转化为局部的迭代寻优问题，如mean-shift跟踪［1］；②基于模型的概率跟踪算法，该类方法将目标跟踪问题转换为目标状态估计问题，目标状态的所有信息均包含于状态的后验密度中，目标状态后验密度可根据贝叶斯滤波来求解，如粒子滤波跟踪［2］.

在单目标跟踪场景下，贝叶斯滤波首先预测目标状态的概率密度，然后利用当前帧的新量测对预测状态概率密度进行更新获得状态后验概率密度.在线性高斯条件下，贝叶斯滤波的闭合形式的递推方法等同于卡尔曼滤波［3］.在非线性非高斯条件下，贝叶斯滤波的有效实现方法是粒子滤波算法［4］.

在多目标跟踪场景下，1994年Mahler首次系统地针对多传感器多目标跟踪问题提出了有限集统计理论［4］，并以此为数学理论基础提出随机有限集框架下的多目标贝叶斯滤波.Mahler结合点过程理论给出了Possion条件下近似的随机有限集的一阶矩递推滤波公式，从而得到了多目标贝叶斯滤波的近似即PHD滤波器［5］.B.N.Vo等［6］给出PHD滤波器在线性高斯条件下的解析解，GM-PHD（Gaussian mixture PHD）方法即高斯混合PHD滤波，已用于各种传感器信号的目标跟踪问题.GM-PHD借鉴了高斯混合滤波算法的思想，具有计算量小，强大的去除杂波能力，状态抽取可靠，易于处理多目标跟踪中目标的消亡和遮挡等优点，但该方法有2个缺点∶①由于GM-PHD的输出为状态估计的随机集，无法给出目标身份（航迹）特征信息；②无法跟踪位置未知的新生目标.

文中拟提出基于GM-PHD滤波的变目标数视频跟踪算法.首先采用运动检测方法，实现运动目标的快速有效分割，提取前景目标的质心，尺寸作为目标量测；同时利用运动检测结果设计新生目标强度更新方法，用以产生新生目标强度函数；以新目标强度函数和检测结果（量测）为输入，完成GM-PHD滤波递推，输出估计的目标数和状态；最后提出基于auction［7］的航迹识别方法进行“航迹-状态估计”关联以识别目标航迹.

1 目标模型

1.1运动模型

采用一个w X h矩形表示目标区域，则目标状态向量可以表示为xk=（pox，k，poy，k，ux，k，uy，k，w，h）T，其中Pok=（pox，k，poy，k）为矩形的中心，vk=（ux，k，uy，k）为目标中心在图像的水平和竖直方向的速度.假设目标运动在相邻图像帧间机动性不强，采用线性高斯常速模型来建立运动模型，其运动模型的数学表述为

式中∶F为状态转移矩阵；uk为零均值协方差为Qu的高斯白噪声序列.F和Qu定义如下∶

式中∶In和0n分别为n X n单位矩阵和零矩阵；Δ为采样周期；σu为系统噪声标准差

1.2观测模型

视频跟踪算法的量测可由运动检测算法［S］获得，提取检测图像中目标斑块的质心和大小作为目标位置坐标和尺寸的观测值，构建目标观测并建立观测方程.假设目标的一个观测向量为zk=（Pok，w，h）T，则线性高斯观测模型为

式中∶H为观测矩阵；wk为零均值协方差矩阵为Qw的高斯白噪声.H和Qw定义如下∶

式中σw为观测噪声标准差.

2 基于auction的航迹识别算法

2.1航迹识别问题的数学表述

航迹识别的目的是获得目标在整个跟踪任务

时间内的身份.如引言所述，PHD滤波的结果是不带有目标身份或航迹特征的目标状态随机集.为克服该缺点，文中设计了基于auction算法［7］的航迹识别方法.文中将目标航迹识别问题看作二维分配问题，即将当前k+1时刻的目标状态估计Xk+1分配给上一个时刻k已确认的目标航迹Tk，而最优二维分配的求解可转化为求取关联代价函数和的极小值.假设Xk+1包含Nk+1个状态估计Tk包含Lk个航迹则“航迹-状态估计”关联的目标函数可以定义为

满足约束条件∶

式中∶am，n为二值变量，状态估计与航迹关联时取1，否则为0；cm，n为二者相关联的代价.目标航迹识别的基本原理如图1所示，即建立和计算关联代价cm，n，采用auction优化算法求解航迹与状态估计的关联目标函数（7）的极值，当关联目标函数取得极值时实现“航迹-状态估计”最优分配，从而提取目标航迹.

图1　基于auction的航迹识别原理

3 目标数变化的GM-PHD跟踪算法

3.1概率假设密度滤波原理

在随机集框架下，多目标状态和量测集合均由随机有限集表示，状态估计由多目标贝叶斯滤波求解.为解决高维贝叶斯滤波中多维函数积分计算困难的问题，R.P.S.Mahler提出了PHD滤波［5］.为避免传播整个多目标状态的后验概率密度，PHD滤波递推多目标状态随机集（random finite set，RFS）的后验概率密度的一阶矩，即强度或概率假设密度（PHD）.对于一个概率分布为P的状态随机有限集合NΞ，其强度函数（或PHD函数）u（x）可定义为状态空间中任意一个区域R中目标数的积分，即

PHD滤波将多目标状态的RFS分为3种∶新生目标RFS.孵化目标RFS和幸存目标RFS.如果以γk（·）表示k时刻新生目标的PHD，以βk|k-1（·|ζ）表示k时刻从k-1时刻状态为ζ的目标分裂出的孵化目标PHD，pS，k（ζ）表示目标在k时刻仍然存在的概率（生存概率），pD，k（x）表示检测概率，κk（·）表示k时刻杂波RFS的密度，那么PHD滤波的递推形式如下∶

式中uk|k-1（x）和uk（x）分别为多目标贝叶斯滤波的预测和更新强度函数.在线性高斯条件下，当以高斯混合模型描述强度函数时，PHD递推可以得到解析解，即高斯混合PHD滤波［6］.文中目标数变化的概率假设密度滤波的高斯混合实现在3.2节阐述.

3.2目标数变化的概率假设密度滤波实现

跟踪系统框图如图2所示，下面以k+1时刻为例说明算法的高斯混合实现［6］.

图2　目标数变化的目标跟踪系统框图

对检测到的目标更新，即使用第1步得到的量测随机集对预测PHD进行更新，对每一个z∈Zk+1且j=1，2，…，Jk+1|k，更新预测PHD，计算得到后验PHD高斯元的权值，均值及协方差为

式中κk（z）为泊松分布的杂波RFS的强度函数.

5）对以上输出的更新后高斯元进行修剪，主要任务是对于距离很近的高斯元进行合并，对极小权值的高斯元进行删除.该步骤是GM-PHD去除杂波的核心步骤.

6）状态抽取［6］，对于高斯元的权值大于阈值（一般取0.5），其所对应的期望值作为目标状态

7）采用文中第3部分提出的航迹识别方法进行目标身份识别，输出带有身份标识的航迹Tk+1.

4 试验结果

采用行人监控视频数据库“OneShoPOneWait2front”和“Meet-SPlit-3rdGuy”进行试验，视频中包括目标新生，目标完全遮挡和部分遮挡，以及目标消失等目标数目变化场景.文中实例采用Matlab仿真软件实现.试验参数的设置如下∶观测噪声标准差σw=3；状态噪声标准差为σu=4；检测概率pD= 0.99；目标继续生存概率pS=0.9；帧单位面积平均杂波数λc=0.02；每个杂波的概率分布u=（3S0 X 2S0）-1；合并高斯元的门限值U=3；裁剪高斯元的门限值T=0.1；采样时间Δ=4 s.

为从视频中提取目标观测值（位置，大小等），运动目标检测算法常在滤波之前实施［10］.鉴于测试视频背景复杂，文中采用基于背景更新的自适应运动目标检测方法［S］.图3为测试视频1的原始图像.图4是文中运动检测算法得到的检测后的二值化图像，目标量测（质心位置和尺寸）由对检测后图像中的光斑连通域分析得到.表1给出了对图4连通域分析后得到的量测.以图像最左上角点为坐标原点（0，0），水平向右和竖直向下分别为X轴和Y轴正方向建立坐标系，使用四元组描述一个斑块（目标）的质心位置和尺寸，并作为一个量测.

图3　部分原始图像

图4　部分运动目标检测后的分割图像

表1　部分图像帧的量测数据

由表1可见，经过图像检测后得到的量测不仅包含了来源于目标的量测，还有虚假目标的量测（杂波）.

图5给出了GM-PHD直接对量测滤波后的结果，其中“*”指示了目标质心位置，矩形框为目标尺度大小.

图5　原GM-PHD跟踪结果

在使用量测对预测PHD的高斯元进行更新后，更新后的高斯元只有当其权值大于状态抽取的阈值时方能保留，而小于该阈值的高斯元均会被删除.当新生目标强度函数未知时，由新生目标量测更新后的高斯元的权值会很小而被当作杂波删除，进而发生丢跟问题.因此原标准GM-PHD在含有新生目标的图像（见图5第3S2，930帧）中没有跟踪上新目标.由于原GM-PHD输出的是目标状态随机集，不包含目标航迹信息，图5中没有目标航迹标识，仅指示了目标位置和尺度估计.

图6给出了文中算法的部分跟踪结果.图6使用标记“*”，“o”，“Δ”和“▷”分别给出了4个目标的质心位置，确认了目标在视频序列前后帧的身份信息，实现了航迹识别.与图5相比，可见文中算法既能跟踪位置未知的新生目标，又能够识别目标航迹.

图6　文中算法跟踪结果

为了定量分析GM-PHD滤波的主要过程，图7给出了第3S2帧图像中PHD预测、PHD更新和PHD修剪过程，以及第735帧和930帧修剪后强度函数.

图7　强度函数的预测，更新和修剪过程比较

其中图7a，7b，7c左图为标准GM-PHD（原GMPHD）结果，而右图为文中算法结果.可见，与文中第3部分分析一致，高斯混合PHD实现PHD滤波的过程，主要为采用一组高斯混合模型或者多个高斯元逼近强度函数（PHD），再依据Bayesian原理对强度函数进行PHD递推（包括对上一图像帧或上一时刻的后验PHD的预测，以及PHD更新），从而实现后验强度函数（后验PHD）在各帧图像间（各跟踪时刻）的传播.在PHD更新后，为减少计算量以及保证状态抽取可靠性，需对更新后的PHD进行修剪，即合并距离较近的高斯元以及去除权值小于阈值T（文中取0.1）的高斯元（见图7c）.修剪后的高斯混合形式的后验强度函数（后验PHD）包含了目标状态的所有信息，状态抽取时选取权值大于一个阈值（一般取0.5）高斯元，选取的高斯元数为目标数估计，各高斯元的均值参数构成了目标状态估计随机集由图7a，7b，7c左图（原GM-PHD）和右图（文中算法）对比可见，原GM-PHD在预测，更新和修剪阶段均比文中算法少了一个新生目标的高斯元，原GM-PHD滤波无法自动起始新生目标.

图8给出了文中算法和原GM-PHD的位置估计结果，其中以图像最左上角点为坐标原点（0，0），水平向右和竖直向下分别为X轴和Y轴正方向，图像采集时间为时间轴t建立三维坐标系.

图8　目标位置估计比较结果

由图8可见，原GM-PHD只能给出目标位置估计的随机集而无法识别目标航迹，而且发生了航迹丢失问题，即无法跟踪新生的目标3和目标4.

图9对比了原GM-PHD的目标数估计，文中算法的目标数估计，以及真实目标数.通过统计计算，文中算法对目标数估计的准确率可达到97.31％（621帧/640帧），而原GM-PHD算法仅为64.06％（410帧/640帧）.

图9　目标数估计比较曲线

由图9中曲线可见，文中算法与原GM-PHD比较，大大提高了目标数估计的准确性.主要改进在于文中算法能够在各帧图像中检测出新生目标位置，自适应更新新生目标强度函数，减少了新生目标航迹丢失的问题.此外，文中算法对目标状态估计-航迹实施关联计算，在实现航迹识别的同时进一步去除了虚假目标状态估计，确保了状态估计的准确性.

OSPA距离［11］可以实现目标状态估计与真实状态在最优配对情况下2个集合之间的距离度量，常用来衡量多目标跟踪误差.当目标数估计或状态估计包含误差时，OSPA距离将大幅增大.图10给出了文中算法和原GM-PHD的OSPA跟踪误差曲线.

图10　OSPA距离比较曲线

由于OSPA对目标数估计错误有严重判罚，即当目标数估计与真值有偏差时，OSPA距离会表现出显著增大态势.原GM-PHD对于新生强度函数未知的场景无法起始新目标并保持跟踪，因此图10中GM-PHD的误差曲线呈现多峰特点.与原GM-PHD相比，文中算法产生的OSPA距离显著降低，算法的误差较小，具有较高的跟踪精度.

为进一步验证算法性能，引入了带有遮挡的目标跟踪场景“Meet-SPlit-3rdGuy”作为测试视频.图11对比了文中算法和原GM-PHD的目标航迹估计结果.为定量分析位置估计结果，以图像最左上角点为坐标原点（0，0），水平向右和竖直向下分别为X轴和Y轴正方向，图像采集时间为时间轴t，图12分别建立X-t二维坐标系，以及Y-t二维坐标系，绘制了位置估计-时间图.

图11　目标航迹估计比较结果

图12　目标位置估计-时间比较结果

由图11a和图12a可见，原GM-PHD方法在第405帧和第450帧左右发生交叉后遮挡.在第405帧和第450帧遮挡后，由于缺少新生目标检测和新生目标强度函数更新机制，原GM-PHD在目标遮挡后出现航迹丢失问题.与此不同，图11b和图12b的航迹和位置估计结果表明，文中算法对于目标遮挡前后均能得到较准确的目标位置估计，并能识别目标航迹.

5 结 论

1）文中提出的目标数变化场景下改进的GMPHD目标跟踪算法可充分利用运动目标检测得到的量测数据起始新目标，并以此更新新生目标强度函数，从而提高了PHD滤波对于新生目标的响应性.本新生目标强度函数更新方法，在跟踪过程中产生新目标，或遮挡后产生新目标等目标数变化情况下，具有较高的新目标检测能力，能够提高PHD滤波对未知位置的新生目标的跟踪稳健性.

2）通过基于auction的航迹识别方法实现“状态-航迹”数据关联，由于关联隐含的上下文信息约束，文中算法在识别目标身份的同时提高了目标状态估计的准确性.

3）2个仿真试验结果表明文中算法能够在目标数发生变化和目标发生交叉情况下，取得较为鲁棒的估计状态，并能够识别目标航迹.

（

）

［1］Beyan C，Temizel A.AdaPtivemean-shift for automated multi-object tracking［J］.IET Computer Vision，2012，6（1）∶1-12.

［2］陈 姝，彭小宁.基于粒子滤波和在线随机森林分类的目标跟踪［J］.江苏大学学报∶自然科学版，2014，35（2）∶207-213. Chen Shu，Peng Xiaoning.Object tracking based on Particle filter and online random forest classification［J］. Journal of Jiangsu Uniuersity∶Natural Science Edition，2014，35（2）∶207-213.（in Chinese）

［3］Macagnano D，de Abreu G T F.AdaPtive gating formultitarget tracking with Gaussian mixture filters［J］.IEEE Transactions on Signal Processing，2012，60（3）∶1533-153S.

［4］Yin Shen，Zhu XiangPing.Intelligent Particle filter and its aPPlication to faultdetection ofnonlinear system［J］. IEEE Transactions on Industrial Electronics，2015，62（6）∶3S52-3S61.

［5］Mahler R P S.Multitarget Bayes filtering via first-order multitargetmoments［J］.IEEE Transactionson Aerospace and Electronic Systems，2003，39（4）∶1152-117S.

［6］Vo BN，MaW K.The Gaussianmixture Probability hy-Pothesis density filter［J］.IEEE Transactions on Signal Processing，2006，54（11）∶4091-4104.

［7］Shi Q，Comaniciu C，Jaffrès-Runser K.An auctionbased mechanism for cooPerative sensing in cognitive networks［J］.IEEE Transactions on Wireless Communications，2013，12（S）∶3649-3661.

［S］吴静静，胡士强.基于概率假设密度的多目标视频跟踪算法［J］.控制与决策，2010，25（12）∶1S61-1S65. Wu Jingjing，Hu Shiqiang.Probability hyPothesis density filter based multi-target visual tracking［J］.Control and Decision，2010，25（12）∶1S61-1S65.（in Chinese）

［9］Yuan J.Active contour driven by region-scalable fitting and Bhattacharyya distance energies for ultrasound image segmentation［J］.IET Image Processing，2012，6（S）∶1075-10S3.

［10］Greggio N，Bernardino A，LaschiC，et al.Fastestimation of Gaussianmixturemodels for image segmenatation［J］.Machine Vision and Applications，2012，23（4）∶773-7S9.

［11］Ristic B，Vo B N，Clark D.Performance evaluation of multi-target tracking using the OSPA metric［C］∥Proceedings of the 13th Conference on Information Fusion. Edinburgh，UK∶IEEEComPuter Society，2010，Article number∶5712055.

（责任编辑 梁家峰）

Tracking a varying number of targets in videos based on Probability hyPothesis density filtering

Wu Jingjing1，2，You Lihua1，2，An Wei1，2，Song Shujuan1，2，Zhou Deqiang1，2
（1.School of Mechanical Engineering，Jiangnan University，Wuxi，Jiangsu 214122，China；2.Jiangsu Key Laboratory of Advanced Food Manufacturing EquiPment&Technology，Wuxi，Jiangsu 214122，China）

∶To solve the Problem that Probability hyPothesis density（PHD）filterwas not able to track birth targets of unknown Positions，a PHD filtering framework was ProPosed based on new target detection.To overcome the inability to yield target tracks of original PHD filter，a″track-state estimate″association algorithm was designed to Present mathematical formulation and imPlementation method for track recognition.The imPlementation of themulti-target tracking framework for a varying number of targetswas ProPosed.The ProPosed algorithm was realized by MATLAB，and two Pedestrian surveillance data setswith new targets and occlusion were adoPted to evaluate the Performance.The results show that the ProPosed tracker can imProve the resPonse of PHD filter to new births and targets after occlusion by uPdating the intensity of new birth targets in terms of Position observations.The birth targets of unknown Positions can be tracked in the scenario at any time with good accuracy of target number and state estimation.

∶multi-target tracking；Probability hyPothesis density；birth target；Gaussian mixture；track recognition

TP391.41

A

1671-7775（2015）06-0697-0S

吴静静，尤丽华，安 伟，等.基于概率假设密度的目标数变化视频跟踪算法［J］.江苏大学学报∶自然科学版，2015，36（6）∶697-704.

2015-07-21

国家自然科学基金资助项目（61305016）；江南大学自主科研计划青年基金资助项目（JUSRP1059）

吴静静（19S2—），女，安徽滁州人，博士（wjjlady720@jiangnan.edu.cn），主要从事数字图像处理、模式识别及信息融合研究.

尤丽华（1955—），女，江苏淮安人，教授（lhyou@jiangnan.edu.cn），主要从事机电一体化测控技术、图像处理及测量技术等研究.