胡孟凌，王中元＋，刘文杰

（1.武汉大学 计算机学院 国家多媒体软件工程技术研究中心，湖北 武汉430072；2.长江大学 电子信息学院，湖北 荆州434023）

0 引 言

常用的运动目标提取方法和现有的研究成果有：光流法［1－3］，基于时间特征推移得到物体的运动信息从而提取出运动目标；帧差法［4，5］，通过分析图像序列中相邻两帧或多帧对应像素点之间的差异来提取运动目标；背景差分法［6－8］，利用背景图像和当前图像的差分运算来提取运动目标。一些学者采取多种方法相结合的方式来改善处理效果［9－11］。但在面临复杂的现实环境挑战时，如对实时性要求的满足、对光照突变的适应性、对阴影的抑制以及防止运动目标原地运动或缓慢运动时融入背景等，现有的研究成果尚未提出较为通用的算法模型。

背景差分法作为最广泛使用的理论方法之一，其最重要的步骤是对背景进行建模，背景模型的好坏将直接影响运动目标提取结果的准确性。为了提高对光照突变的鲁棒性，有学者利用局部二值模式 （local binary patterns，LBP）纹理特征对光照不敏感的特性，设计出基于LBP 纹理特征的自适应背景更新策略［12］。当视频中运动物体处于原地运动或者运动缓慢时，目标区域的纹理特征基本不变，此时利用LBP纹理特征提取运动目标会将部分运动目标误判为背景，即运动目标融入了背景，直观结果就是运动目标区域出现很多空洞。针对该问题，本文通过在传统LBP检测方法中引入颜色约束，提出一种宏块交叠检测机制将LBP纹理检测与颜色分割的结果无缝结合，有效改善了运动目标提取效果。实验中对多个视频序列进行了运动目标检测试验，并与经典的高斯混合模型（Gaussian mixture model，GMM）方法和传统LBP检测方法［12］进行了对比。

1 传统LBP检测方法

LBP最早由Ojala T 等提出，是一种用来描述图像局部纹理特征的算子，利用二进制比特流来描述某一个像素的邻域，将中心像素点与其邻域像素点进行比较，进而得到一串二进制比特流来描述该中心点的纹理特征，LBP 算子具有灰度值单调变化不变性，以及较强的分类能力和较高的计算速度，被广泛应用于模式识别中，在人脸检测与识别、运动目标检测等应用中十分有效［13］，可以有效地抑制阴影，而且能够很好地定位前景的位置与轮廓。

LBP纹理背景建模方法是基于LBP纹理特征的，实质上是在像素域进行计算，虽然可以精确定位运动目标的位置和基本轮廓，但该方法没有考虑到整体的运动特征。图1使用LBP纹理检测运动目标的提取方法，当前图像与前一帧图像整体上几乎相似，场景中的运动目标可以看作是处于原地运动，从图1 （c）的提取结果可以看出，当运动目标类似于相对缓慢运动或原地运动时，运动目标上存在局部纹理特征不变的区域，使用LBP纹理检测不可避免地会产生严重的误检测和漏检，严重影响提取结果的准确度。

图1 LBP纹理检测运动目标提取

2 改进的LBP检测方法

为了更好地实现对缓慢和原地运动物体的检测，本文根据像素级的LBP检测结果生成宏块级粗糙运动信息，同时引入了颜色分割方法对图像的颜色信息进行处理，通过宏块交叠检测将运动信息与颜色信息相结合，分析得到运动目标，如图2所示。以下将详细介绍基于颜色约束和纹理检测的运动目标提取过程。

图2 改进的LPB检测方法框架

2.1 宏块级运动目标生成

由传统LBP方法得到的运动目标信息是像素域的，需要进行像素域到宏块域的映射，得到基于纹理检测的宏块级粗糙运动目标。构建宏块与像素点的映射关系，如图3所示。

图3 像素点与宏块映射关系

基于以下映射公式

式中：wp、hp——视频图像的高度和宽度。由式 （1）我们可以得到图像中各像素点所对应的宏块的坐标 （i，j），统计当前帧各宏块中被判断为运动像素点的个数Motion＿num（i，j），如果某个宏块中的运动像素点个数超过该宏块中像素点总数的1／4，即满足

则可以判断该宏块为运动目标宏块，否则为背景宏块，由此我们就可以得到当前帧宏块级粗糙运动目标。本文实验中设定w ＝h＝4。

2.2 图像颜色分割

为获得图像像素的颜色分类信息，使用K－means聚类算法对图像进行颜色分割。K－means聚类算法最早由Mac－Queen等提出，该算法首先指定要聚类的簇类数目和初始的聚类中心点，然后通过反复地迭代运算调整簇类中心，使目标函数逐步得到收敛为止。本文聚类的数据样本取自图像各像素点的灰度值，假设样本数为n，聚类中心点数为k。图4展示了对图像进行K－means聚类的效果，这里对k分别取值为2、6、12进行比较。

图4 聚类分割结果

从聚类分割结果可以看出，聚类中心点个数k 取值过大，图像颜色分类就会过细，不利于与运动信息的结合，反之k取值过小，图像颜色分割的效果类似于将图像进行二值化，而这明显不能满足实际图像中颜色的多样性，不利于本文运动目标提取的目的，k取值为6时，基本上可以达到颜色分割的目的，因此本文实验中将聚类中心点个数k取值为6。

经过K－means颜色分割后，图像中每个像素点都对应一个颜色分类号li（0＜i≤n，1≤li≤k），该值表示该像素点所属的颜色类别。分割后的图像由若干个不规则的颜色区域组成，虽然此时通常已经可以有效地将背景区域与运动目标区域分割开来，但对于任一颜色块，颜色分割方法本身无法判定它属于运动目标还是背景，因为可能存在多个颜色相同的颜色块，分别属于运动目标区和背景区，所以需要与LBP纹理检测的结果结合起来以实现运动目标提取，在此本文提出一种宏块交叠检测方法。

2.3 宏块交叠检测

对当前图像进行宏块交叠检测的目的，就是将LBP 纹理检测得到视频运动信息与K－means聚类分割得到的颜色信息无缝结合起来，对宏块级粗糙运动目标进行优化，得到基于颜色约束和纹理检测的运动目标。2.1 节中进行宏块级粗糙运动目标映射时使用4×4大小的宏块，如果进行交叠的宏块尺寸小于宏块映射时所使用的宏块尺寸，就达不到填补空洞的效果，反之若尺寸过大则会导致运动目标的边缘不精确，根据实验效果，本文采用8×8大小的宏块进行交叠，相邻宏块间有4像素重叠，如图5所示。

图5 宏块交叠检测

按照下述步骤判定此8×8宏块是否属于运动目标：

步骤1 统计各8×8宏块中li＝j的像素点的个数Sj（1≤j≤6），即属于各颜色分类的像素点个数；

步骤2 根据LBP纹理检测得到的结果，统计8×8宏块中各颜色分类中运动目标像素点的个数Mj（1≤j≤6）；

步骤3 计算8×8宏块中各个颜色分类中运动目标像素点所占比例

步骤4 若PM／S（j）大于阈值，则判定该8×8宏块为运动目标，否则为背景。

3 实验结果与分析

为验证本文方法的有效性，针对多个标准序列在光照突变和原地或缓慢运动等场景，与传统方法进行了对比测试，包括效果对比和性能对比。本实验硬件环境为CPU Intel Pentium（R）Dual－Core E6700 3.2GHz，RAM 2.00GB，软件环境为Microsoft Windows 7 操作系统，Visual Studio 2005开发环境。

3.1 光照变化场景实验

图6 （a）中依次取自标准测试序列Intelligentroom、campus、hall的第1帧，作为参考背景帧，图6 （b）依次取自序列Intelligentroom 的第299 帧、campus的第312 帧和hall的第36帧，作为测试帧。实验中特别选用具有针对性的视频序列来验证本文方法对光照的鲁棒性，特别是在视频序列Intelligentroom 中，为了对光照突变情况进行实验，场景中放置了反光镜，当运动目标靠近反光镜时 （第299帧）就会使局部光照发生突变，在该场景下用其它方法与本文提出的方法进行比较。

图6 光照变化场景实验结果

可以看出，GMM 方法受光照变化和阴影的影响较为严重，提取效果最差，传统的LBP 方法虽然对光照变化有较好的鲁棒性，但是运动目标提取不完整，相比而言，本文的提取结果能够有效地克服光照变化和阴影的影响，提取结果比其它两种方法更加完整和准确。

3.2 原地运动或缓慢运动场景实验

图7 （a）为分别选取自视频序列Intelligentroom、campus、hall中的连续3帧，第一行图像为选取的第3帧，作为当前测试帧。可以看出，测试帧的图像内容与前两帧基本相似，运动目标类似于原地运动，因此可以看作是原地运动或缓慢运动的场景，用以验证本文提出的算法能够有效地解决此场景下运动目标被误判为背景，提取结果出现空洞、运动目标融入背景的问题。

图7 缓慢运动下运动目标提取结果比较

可以看出，GMM 方法对运动目标的判断失误严重，提取效果很不理想，而传统LBP方法由于运动目标在原地运动或缓慢运动时缺乏纹理信息，导致运动目标提取不完整，运动目标很多区域被误判为背景，误检现象较为严重，相较于GMM 方法和传统LBP 方法，本文提出的方法准确地提取出了完整的运动目标，效果令人满意。

3.3 各种方法处理速度的比较

为了验证本文方法可以满足实时性的要求，对几种方法做处理速度的比较，实验结果见表1。选取的测试序列中，Intelligentroom、laboratory、highway的分辨率为320×240像素，campus和hall分辨率为352×288像素。

表1 平均处理速度比较

可以看出，本文提出的方法的处理速度比传统的GMM方法的普遍要快，与传统LBP方法相比，虽然加入了颜色分割步骤而增加了算法的复杂度，但对于352×288像素的视频序列处理速度也能达到21FPS以上，基本上满足了实时处理的要求，并且比传统LBP方法更能准确提取出运动目标。

4 结束语

提出一种改进的运动目标提取方法，结合K－means图像聚类分割得到的颜色信息与LBP纹理检测得到的运动信息进行运动目标提取，不仅保持了LBP 纹理检测定位精确、对光照变化鲁棒、对阴影不敏感的优点，而且有效克服了原地运动或缓慢运动时运动目标出现空洞、融入背景的问题；建立了一种宏块检测机制，将纹理检测与颜色分割无缝结合起来，在基本保持原运算复杂度的同时提高了运动目标提取的精度；改进的运动目标提取框架满足实时性的要求，为高效提取快速播放的视频图像的运动目标提供新的途径。

本文方法在一些方面也有所局限，有待做进一步地研究，主要包括：本文方法对于摄像头静止不动的场景有较好的效果，但不适用于背景变化较大的场景；当场景中存在背景的颜色与运动目标相同的区域时，颜色分割的作用不大；可以进一步优化LBP纹理检测与颜色分割的结合方法，使颜色信息与运动信息的结合效果进一步优化。

［1］Ryan D，Denman S，Fookes C，et al.Textures of optical flow for real－time anomaly detection in crowds［C］／／8th IEEE International Conference on Advanced Video and Signal－Based Surveillance，2011：230－235.

［2］Suganuma N，Kubo T.Fast dynamic object extraction using stereovision based on Occupancy Grid Maps and optical flow［C］／／IEEE／ASME International Conference on Advanced Intelligent Mechatronics，2011：978－983.

［3］Chen Z，Cao J，Tang Y，et al.Tracking of moving object based on optical flow detection ［C］／／International Conference on Computer Science and Network Technology.IEEE，2011：1096－1099.

［4］Chen C，Zhang X.Moving vehicle detection based on union of three－frame difference ［J］.Advances in Electronic Engineering，Communication and Management，2012，2：459－464.

［5］Wang H，Chen X，Wang Y，et al.The application of corrected three－frame difference in vehicle tracking ［C］／／International Conference on Optical Instruments and Technology.International Society for Optics and Photonics，2013.

［6］Mandellos N A，Keramitsoglou I，Kiranoudis C T.A background subtraction algorithm for detecting and tracking vehicles［J］.Expert Systems with Applications，2011，38 （3）：1619－1631.

［7］Cheng L，Gong M，Schuurmans D，et al.Real－time discriminative background subtraction ［J］.IEEE Transactions on Image Processing，2011，20 （5）：1401－1414.

［8］Zhang L，Liang Y.Motion human detection based on background subtraction ［C］／／Second International Workshop on Education Technology and Computer Science.IEEE，2010：284－287.

［9］Tang Q，Dai S G，Yang J.Object tracking algorithm based on camshift combining background subtraction with three frame difference［J］.Applied Mechanics and Materials，2013，373：1116－1119.

［10］Wu J，Gao J，Li M，et al.Moving object detection using three－frame difference and background subtraction ［C］／／Proceedings of the International Conference on Electronics，Communications and Control.IEEE Computer Society，2012：103－106.

［11］Yuan G W，Gong J，Deng M N，et al.A moving objects detection algorithm based on three－frame difference and sparse optical flow ［J］.Information Technology Journal，2014，13（11）：1863－1867.

［12］LI Jiajia，PENG Qimin.Motion object detection algorithm for sudden illumination changes［J］.Journal of Computer－Aided Design ＆ Computer Graphics，2012，24 （11）：1405－1409（in Chinese）.［李加佳，彭启民.适应光照突变的运动目标检测算法 ［J］.计算机辅助设计与图形学学报，2012，24（11）：1405－1409.］

［13］Huang D，Shan C，Ardabilian M，et al.Local binary patterns and its application to facial image analysis：A survey［J］.IEEE Transactions on Systems，Man，and Cybernetics，Part C：Applications and Reviews，2011，41 （6）：765－781.