翁菲，刘允才

0 引言

随着制造成本的不断降低以及日益增长的应用需求，视频检测器被广泛应用于复杂场景的实时监控，关于智能视频监控的研究也越来越深入。由于单摄像机有限的视域无法满足广域视频监控的要求，多摄像机网络成为有效解决广域视频监控问题的一种途径。在已提出的多摄像机监控系统中，都有不同程度的限制。如文献[1]中要求摄像机之间具有重叠的视域，而重叠的视域将限制有效的监控范围；文献[2]中采用非重叠摄像机，但是不适合实时应用。于是，本文提出一种基于非重叠视域多摄像机的实时监控系统。

1 系统的概述

图1描述了该系统的流程框图。该系统分别对每个摄像机视频进行背景建模、前景检测以及运动目标的特征提取，当目标离开摄像机视域的时候，根据已知的拓扑关系，向相关摄像机发布监控任务，当有目标进入处于有效监控状态的摄像机视域时，进行目标匹配，从而实现在多摄像机系统中对行人目标的持续跟踪。本文将分别介绍该系统的各主要功能模块。

图1 多摄像机监控系统框图

2 运动的检测

2.1 背景的建模与更新

系统采用一种双层的背景维持算法，进行背景建模与更新[3]。相较于经典的高斯建模法，该方法计算效率高并且对场景的变化适应性更强。首先，在像素层进行背景更新。由于运动目标所在位置的像素值变化比背景处的像素值快，于是通过对相邻的图像帧进行差分，即可根据像素值的变化快慢，区分前景像素与背景像素。但是这种像素层的背景更新，没有考虑到包含在帧间的运动信息。当由于摄像机的移动、光线变化、或者运动目标离开了场景等因素，引起背景的突变，对图像层进行背景更新，可以对这些变化进行快速响应。通过融合像素层以及图像层的检测结果，可以在不同情形下获得比较合适的背景模型。

2.2 前景的检测

系统采用背景差分的方法进行前景的检测。将每一帧输入图像（图2（a））与背景模型进行差分，与背景像素具有显著差异的像素点将被判别为前景像素。然后，对前景图像（图2（b））进行形态学处理以去除前景图像中小的间隙与空洞，最后得到的前景图像如图2（c）所示。

图2 前景检测

3 目标的匹配

3.1 特征的提取

（1）直方图特征：直方图是一种被广泛用于目标匹配的外观特征，它在一定程度上对行人的姿势变化具有良好的鲁棒性。但是直方图丢失了颜色分布的空间信息，一种解决方法是将目标按照空间关系分为3个部分，分别为头部、上半身以及下半身，为每个部分建立直方图[4]。由于头部的直方图对目标匹配的意义不大，在本系统中取下两部分的直方图，使用混合高斯模型，对这两部分的直方图进行建模，并利用混合高斯模型参数，根据公式（1）别针对待匹配目标的上本身与下半身计算相似度。

其中，wai和wbi表示待匹配目标a和b的混合高斯模型中第i个分量的权值，xaik和xbik表示混合高斯模型中第i个分量的协方差矩阵，d（mai，mbi）表示目标a和b的混合高斯模型中第i个分量均值之间的欧式距离。

公式（1）所描述的相似度数值越小，相似度越大。实验表明，这种距离度量方法效果要优于传统的K-L距离和Bhattacharyya距离。

（2）UV色度特征：YUV颜色空间描述了图像的亮度信息以及色度信息。亮度信息已经体现在直方图中，因此，从YUV颜色空间中，提取UV色度信息，可以作为目标的另一个特征表示。文献[5]提供了一种提取UV色度空间模型的方法，该方法根据YUV颜色空间的UV通道，建立二维色度平面，将图像的色度信息分别投射到色度平面上，并对平面上的UV色度分布建立二维混合高斯模型，图3为一个行人目标及其对应的UV色度模型。相似度的计算方法同直方图特征。

图3 UV色度模型

（3）主要颜色普特征：对于一幅8位彩色图像在RGB颜色空间中存在的颜色可达百万种，很难在如此庞大的颜色种类的基础上，进行两个目标之间的匹配。文献[6]提供了一种提取主要颜色谱的方法，使用最近邻分类法将所有像素聚类为有限的几种主要颜色，对所有颜色的频率进行降序排列之后，前90%的颜色即可作为该目标的特征描述。图4为一个行人目标及其对应的主要颜色谱直方图。

图4 主要颜色谱直方图

在这种特征描述方式下，两个待匹配目标之间的相似度由公式（2）计算得到：

其中，pai和pbi表示待匹配目标a和b的主要颜色谱直方图中第i个颜色柱的权值；d（Cai，Cbi）表示颜色柱Cai和Cbi之间的距离。该公式描述的相似度数值越小，表示目标a和b越相似.。

3.2 特征融合与目标的匹配

对于多特征之间的数据融合，常用的解决方法是采用贝叶斯模型。但是对于置信度相差较大的特征，基于贝叶斯模型的融合算法的准确度往往不够高。为了使在融合特征数目较多，置信度相差比较大的情况下，获得比较高的匹配准确度，本系统采用一种叠代加宽的融合方法进行特征融合。

首先，将获得的相似度构成特征相似度矩阵S，表示为：

其中，Si，j表示特征i中跟踪目标与第j个待匹配目标间的相似度；i=1，2，……，N，j=1，2，……，M。

然后，根据相似度矩阵计算两个待匹配目标之间的置信度指数，并将置信度指数构成置信度矩阵。

根据以上信息，按照以下步骤进行特征融合，最终实现目标匹配：

（1）设置w为叠代宽度阈值，设置叠代宽度初值a＝1；

（2）在相似度矩阵中搜索每个特征行中前a个相似度最大的目标，如果某一列且只有一列中的所有N个特征行的元素都被搜索到，则该列所对应的待匹配目标即表示目的目标，叠代终止；

（3）如果有大于1的m列中所有N个特征行的元素都被搜索到，则分别计算置信度指数矩阵中与此m列所对应的每一列的期望值，期望值最高的一列所对应的待匹配目标即表示目的目标，叠代终止；

（4）如果没有一列中的所有特征行的元素都被搜索到，即在当前宽度下未找到任何目的目标，则更新叠代宽度a=a+1；a≤w，转步骤（2），进行下一次叠代；

（5）若a＞w，则在当前宽度下搜索第二相似的目的目标，即取被搜索到的元素最多的那一列所对应的待匹配目标作为目的目标，叠代终止。

4 多摄像机的交互

4.1 拓扑建模

对于已经安置好的多摄像机监控系统，它的拓扑结构是固定的，目标在场景中所有可能的运动路线也是可以确定的。例如，当目标从某摄像机的某出口走出之后，可以根据已知的拓扑结构，估计出该目标可能进入哪些摄像机视域范围内，分别需要经过多长时间。因此，建立整个场景的拓扑模型，将对目标的跟踪起到极大的辅助作用。

拓扑模型中包含了多摄像机之间的所有连接信息，包括每个摄像机视域范围内的进出口区域，各个摄像机的进出口之间是否存在通路，以及每条通路的长度。由于不同的行人步行速度不一致，经过同一路径的时间也会有所起伏，于是采用平均时间t结合时间窗w的方式描述每条通路的长度，选取合适的时间窗w，使得大多数行人经过的时间落在（t-w，t+w）范围内。时间窗需要根据实际情况进行选取，数值太大会影响系统的运行效率，数值太小会影响跟踪结果的准确率。

4.2 任务的管理

如前所述，当目标从某摄像机的某出口走出之后，可以根据已知的拓扑结构，估计出该目标可能进入哪些摄像机视域范围内，分别需要经过多长时间。于是，当检测到目标走出某摄像机时，即可根据已知的拓扑关系向相关摄像机发布监控任务，在目标有可能进入视域范围内的一段时间内，该摄像机将处于有效监控状态。而当有目标进入处于有效监控状态的摄像机视域时，进行目标匹配，从而实现在多摄像机系统中对行人目标的持续跟踪。这种机制可以在不影响监控效果的前提下，很好的提高系统的运行效率，从而达到实时监控。

5 实验结果与分析

为验证该系统的有效性，用4个摄像头在室内环境进行了实验。多摄像头的拓扑结构如图5所示。在实验过程中，10个行人（如图6所示）被分为两组，其中一组行人先后穿过摄像机1、摄像机2以及摄像机4，另一组行人先后穿过摄像机1、摄像机3以及摄像机4。实验以15帧每秒的速率采样得到248*156大小的AVI视频序列，然后利用本系统分别对每个行人进行跟踪。对行人B的跟踪过程如图4所示。在第172帧的时候行人B出现在摄像机1视域中，选取他为跟踪目标（图7（a））；第590帧的时候，行人B进入处于监控状态的摄像机3视域中，系统立刻将他识别为被跟踪对象（图4（c））；在第1021帧行人B进入处于监控状态的摄像机4视域中，并立刻被识别为被跟踪对象（图4（e））。实验结果显示，该系统的跟踪准确率为85.2%。表1为使用不同特征进行目标匹配的跟踪结果比较。

图5 拓扑模型示意图

图6 行人目标

图7 对行人B的跟踪过程

表1 不同特征跟踪准确率比较

6 结论

本文描述了一种基于非重叠摄像机的视频监控系统。该系统分别对每个摄像机视频进行背景建模、前景检测以及运动目标的特征提取，并在单摄像机中实现目标跟踪，当目标离开摄像机视域的时候，根据已知的拓扑关系向相关摄像机发布监控任务，当有目标进入处于有效监控状态的摄像机视域时，进行目标匹配，从而实现在多摄像机系统中对行人目标的持续跟踪。实验结果表明，该系统可以在不需对摄像机进行标定的情况下，对穿过多个摄像机的运动目标进行实时准确的跟踪。

[1]Khan S，Shah M.Consistent Labeling of Tracked Objects in Multiple Cameras with Overlapping Fields of View[J].IEEE Trans.on Pattern Analysis and Machine Intelligence，2003，25.

[2]Rahimi A，Darrell T.Simultaneous Calibration and Tracking with a Network of Non-overlapping Sensors[C].IEEE Conf.in Computer Vision and Pattern Recognition，2004.

[3]Yang T，Stan Z Li.Real-time Multiple Objects Tracking with Occlusion Handling in Dynamic Scenes[C].IEEE Conf.in Computer Vision and Pattern Recognition，2005.

[4]Yinghao Cai，Wei Chen.Continuously Tracking Objects Across Multiple Widely Separated Cameras[C].ACCV，2007.

[5]Jeong K，Jaynes C.Object Matching in Disjoint Cameras Using a Color Transfer Approach[J].Machine Vision and Applications，2008.

[6]Eric Dahai Cheng，Massimo Piccardi.Disjoint Track Matching Based on a Major Color Spectrum Histogram Representation[J].Optical Engineering，2007.