亢 洁， 李晓静

(陕西科技大学 电气与信息工程学院， 陕西 西安 710021)

0 引言

近年来，国际上一些恶性的恐怖事件，如美国 911 事件、伦敦地铁爆炸事件和俄罗斯地铁爆炸事件等，已经使得人们充分认识到传统人力视频监控系统的不足，人们迫切希望提高视频监控系统的智能化水平，希望视频图像不再只作为事故发生后处理的证据，而是在异常事件发生前就能做出隐患预警，因此监控视频中的人体异常行为检测成为了许多学者的研究热点[1].运动目标检测作为人体异常行为分析的首要工作近年来也受到了广泛关注.准确且完整的运动目标检测结果对人体异常行为分析具有很大的影响，因此对监控视频中的运动目标检测研究具有重要意义[2].

运动目标检测是指在序列图像中检测出变化区域并将运动目标从背景图像中提取出来.传统的运动目标检测方法包括帧差法、背景减除法和光流法.帧差法是在连续的图像序列中两个或三个相邻帧间采用基于像素的时间差分并且阈值化来提取出图像中的运动目标.帧差法的优点是算法简单，速度快，易于硬件实现[3]，能够较好的适应环境变化大的情况，但对于图像序列中运动缓慢的目标，难以有效检测出完整前景，运动实体内部容易产生较大“空洞”[4].光流法是通过建立目标运动矢量场，用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法[5].光流法在运动背景环境中也可以对运动目标进行检测，但其最大的缺点是计算量过大，难以做到实时检测.背景减除法的关键就在于背景模型的建立[6]，而背景图像容易受到外界环境的影响，对光照和场景变化非常敏感，因此背景准确的自适应更新是背景减除法的关键[7-9].

三帧差分法是一种快速而且简单的运动目标检测算法，但是其检测结果经常出现"空洞"现象.针对传统的三帧差分法在运动目标检测过程中容易出现的"空洞"问题，本文在三帧差分法的基础上提出了一种将均值背景建模与三帧差分相结合的运动目标检测算法.通过将视频帧的背景加入到帧间差分中从而消除了背景像素点对于前景检测效果的影响，能够解决传统三帧差分法在运动目标检测过程中所存在的“空洞”问题，并且可以实现对运动目标的快速提取.本文所提到的监控视频场景为室外公共区域，例如校园、公园等公共场所，考虑到监控视频中摄像头大多为静止的，因此将本文算法与传统的三帧差分法、混合高斯背景减除法(Gaussian Mixture Model，GMM)、视觉背景提取法(Visual Background Extractor，VIBE)[10]以及平均背景法进行了比较.

1 三帧差分法

帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法[11]，它可以很好地适用于存在多个运动目标和摄像机移动的情况.当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动.但是它提取的运动目标往往比实际的目标要大，通常会出现“鬼影”现象.另外，由于检测出来的目标是前后两帧相对变化的部分，无法检测到重叠部分导致检测到的目标发生“空洞”现象.三帧差分法是在两帧差分的基础上进行改进，将相邻的三帧图像作为一组进行差分.

三帧差分法的原理如下：

选取图像序列中连续的三帧图像Ik-1(x,y)，Ik(x,y)，Ik+1(x,y).计算相邻两帧图像的差值：

(1)

对得到的差值图像通过选择合适的阈值T进行二值化：

(2)

再对所得的差分图像进行逻辑"与"操作：

(3)

三帧差分法的原理图如图1所示.三帧差分法虽然可以消除帧间差分带来的“虚影”现象，但是当运动目标速度较慢时运动前景内部依然会产生较大“空洞”.

图1 三帧差分法原理图

2 均值法背景建模

在传统的背景减除运动目标检测方法中，背景建模是完成目标检测的首要工作.目前主要的背景建模方法包括单高斯模型、混合高斯背景建模、滑动高斯平均模型、码本模型和VIBE等方法.混合高斯背景建模算法的缺点是计算量相对比较大，速度偏慢，对光照敏感[12]；VIBE方法在背景建模过程中容易产生“鬼影”，且算法耗时比较多[13].这些新的背景建模方法的提出提高了前景检测的准确性和完整性，但同时随着算法复杂度的提升，算法的快速性则受到了影响.为了能够快速地检测出监控视频中的运动目标，因此本文考虑选用简单且快速的背景建模方法——均值法背景建模.

当实际的监控场景不是太复杂时，可以采用均值法建立背景模型.均值法实质上是一种统计滤波的思想.在一段时间内，将采集到的多帧图像相加，求其平均值，这个平均值就作为参考的背景模型.具体计算式如下：

(4)

其中，Avgk为采集到第k帧图像时系统建立的背景模型;N为平均的帧数;fk,fk-1,…,fk-N+1为包含当前帧在内的系统所保存的连续N帧图像.

本文算法的应用场景为室外的监控视频的背景，认为视频中的背景不会发生突变，因此本文在应用均值法对视频第k帧进行背景建模时不事先给定平均的帧数N，而是采用视频的前k帧进行求平均，如式(5)所示：

(5)

其中，Avgk为第k帧视频背景模型;fk,fk-1,…,f1为视频序列中连续的前k帧图像.即本文若对第k帧视频背景建模时，采用前k帧视频图像的平均值作为第k帧视频的背景.本文通过均值法背景建模的原理图如图2所示.

平均背景法进行运动目标检测的原理非常简单，就是从视频或者摄像头中获得一系列的帧，然后取这些帧中的平均像素值来表征背景.通过给这些平均像素值加上一定的阈值范围就构成了背景模型，在新加入的图像中如果对应位置的像素超出了这个背景模型中对应位置像素的阈值范围，则将该像素点归为前景点.

图2 均值背景建模原理图

基于均值背景建模的运动目标检测也存在一些缺点，例如在检测过程中背景图像中可能会存在前景的虚影而导致的前景检测中出现误检以及“空洞”的问题，因此本文考虑将均值建模所得的背景加入到三帧差分中，通过帧间差分避免了背景中的前景虚影对于前景检测效果的影响，同时也减少了背景像素点对于前景检测导致的误检.

3 基于均值背景的改进三帧差分法

传统的三帧差分法选取视频中相邻的三帧图像进行邻间差分，直接对包含前景与背景的图像进行差分，对于背景较复杂或是灰度化后背景与前景像素相近的情况很容易出现漏检或是误检.因此本文考虑将背景图像引入到三帧差分中，通过前景与背景的差分来消除背景像素对于前景检测的影响.

均值背景建模即采用视频中多帧连续的图像均值来作为视频帧的背景，此法不仅适用于处理灰度图像也适用于彩色图像的处理.其特点是算法简单，处理速度快，能够快速得到视频的背景且用于求均值的视频连续帧数越多时所得背景模型越接近于真实背景.

在一段监控视频中，一般认为连续的两帧之间背景图像不发生变化[14].因此本文对视频当前帧的背景进行了提取，通过当前帧与背景图像的差分可以得到当前帧运动人体的检测结果；视频当前帧的下一帧与背景图像进行差分时则可以得到视频下一帧的运动人体检测结果，那么在两帧连续的视频图像中人体的大部分像素位置基本没有发生变化，此时本文就将两次运动人体的检测结果进行逻辑“与”之后的结果作为视频当前帧的运动目标检测结果.

为了实现对监控视频中的运动目标的快速提取，因此本文提出了基于均值背景与三帧差分的运动目标检测算法.通过将视频的背景加入到三帧差分中从而避免了背景像素点对于前景检测的影响，再利用连续两帧之间运动人体的相似性[15]从而得到运动前景.采用一种简单快速的背景建模方法使得算法能够在满足准确性和完整性的同时算法的快速性不会受到影响，能够实现对监控视频中运动目标的快速提取.

本文算法的基本思想为：将三帧差分法的中间帧用经均值背景建模所得的背景进行代替，视频当前帧做为三帧差分的前一帧，视频当前帧的后一帧作为三帧差分的后一帧，再利用三帧差分的思想进行邻间差分并将差分所得结果进行逻辑“与”，最后对逻辑运算后的结果进行数学形态学膨胀处理得到最终的运动目标检测结果.

算法的步骤如下：

Step1读入视频段中的所有帧并进行保存，记为I1，I2，…，IM∈Nm*n，其中M为视频段中的总帧数，m，n为每帧图片的大小；

Step2对于视频第k帧的运动目标检测，本文选取I1,I2,I3,…,Ik,Ik+1帧的图像(k+1≤M)，并对其进行灰度化处理；

Step3通过均值背景建模提取视频第k帧的背景，得到背景图像灰度图Avgk：

(6)

Step4求解差分图像A1,A2:

(7)

Step5对所得差分图像进行阈值化处理，其中阈值T由多次仿真实验所得：

(8)

Step6对阈值化后的二值图像进行逻辑“与”

(9)

Step7对最终所得的二值图像D(x,y)进行数学形态学膨胀处理得到最终的运动目标检测结果.

本文算法的原理图如图3所示.

图3 结合均值背景的改进三帧差分原理图

4 仿真结果分析

为了对本文算法的性能进行分析，本文选取walking视频，CASIA视频集中的fight视频和change detection视频库中的pedestrians视频.walking视频总共有289帧，每帧图片的大小为384*288，帧速率为25帧/秒；fight视频总共有299帧，帧速率为25帧/秒，每帧的大小为320*240；pedestrians总共有165帧，每一帧的大小为240*240.本仿真实验在普通的笔记本电脑(intel(R) Core(TM) i5-3337U CPU，1.8 GHz，内存为4 GB)上通过MATLABR2011a仿真软件完成.

在对所得差分图像进行阈值化处理时其阈值通过实验得到.在仿真过程中发现阈值T大于20时，运动前景检测结果不完整；当所取阈值T小于20时，大部分背景像素被误检为运动前景.因此本文将阈值T取为20.

在仿真过程中本文在三组视频上对传统三帧差分法、混合高斯背景减除法、VIBE、平均背景法以及本文算法进行了比较，五种检测方法在三组视频中的检测前景效果图如图4～6所示.

(a) 第30帧原图 (b) 第150帧原图 (c) 第250帧原图

(d) 手工标注图(30) (e) 手工标注图(150) (f)手工标注图(250)

(g) 三帧差分(30) (h) 三帧差分(150) (i) 三帧差分(250)

(j) GMM(30) (k) GMM(150) (l) GMM(250)

(m) VIBE(30) (n) VIBE(150) (o) VIBE(250)

(p) 平均背景法(30) (q)平均背景法(150) (r)平均背景法(250)

(s) 本文算法(30) (t) 本文算法(150) (u) 本文算法(250)图4 walking视频上的运动前景检测效果图

(a) 第50帧原图 (b) 第150帧原图 (c) 第250帧原图

(d)手工标注图(50) (e)手工标注图(150) (f)手工标注图(250)

(g) 三帧差分(50) (h) 三帧差分(150) (i) 三帧差分(250)

(j) GMM(50) (k) GMM(150) (l) GMM(250)

(m) VIBE(50) (n) VIBE(150) (o) VIBE(250)

(p) 平均背景法(50) (q) 平均背景法(150) (r) 平均背景法(250)

(s) 本文算法(50) (t) 本文算法(150) (u) 本文算法(250)图5 fight视频上的运动前景检测效果图

(a) 第100帧原图 (b) 第330帧原图 (c) 第450帧原图

(d) 手工标注图(100) (e)手工标注图(330) (f)手工标注图(450)

(g) 三帧差分(100) (h) 三帧差分(330) (i) 三帧差分(450)

(j) GMM(100) (k) GMM(330) (l) GMM(450)

(m) VIBE(100) (n) VIBE(330) (o) VIBE(450)

(p) 平均背景法(100) (q)平均背景法(330) (r)平均背景(450)

(s) 本文算法(100) (t) 本文算法(330) (u) 本文算法(450)图6 pedestrians视频上的运动前景检测效果图

通过对比五种运动目标检测算法在三组监控视频中的前景检测效果图可以发现，三帧差分法在三组视频上的前景检测过程中都出现了大量“空洞”而导致检测结果不完整，并且由图4中的(i)可以发现，在walking视频中当运动目标距离镜头较远时还会存在检测不到的情况；混合高斯背景减除法在背景比较复杂或是光照强度较强的环境中会出现大量背景点被误检为前景点的情况；VIBE算法基本可以实现完整准确地运动目标检测，但是当运动目标位于强光照下时会出现漏检的情况，例如图4中的(n)，(o)；在图4中平均背景法只检测出少部分的运动前景，且有大量误检像素点；在图5中最终检测到的前景不完整；在图6中平均背景法出现了大量的误检点.本文算法在准确性和完整性方面略优于VIBE算法，但有时也会出现少量背景像素被误检为前景的情况，例如图4中的(t)，(u).

为了定量地分析仿真结果，仿真结果采用通用的评估指标查准率(Precision，Pre)和查全率(Recall，Re)进行比较.其中查全率是检测的正确数与手工标注总数的比值；查准率是检测的正确数和检测总数的比值.两个指标的值同时较高时说明前景检测的效果更好.五种方法在不同视频集上的查全率和查准率如表1所示.

表1 查全率(Re)和查准率(Pre)比较

从表1可以看出,混合高斯背景减除法的查全率比较高但是查准率却非常的低，这是因为混合高斯背景减除法在运动目标检测过程中将大量背景点误检为前景点；本文算法的查全率比三帧差分法高出60%，查准率高出38%；平均背景法的查准率与查全率跟三帧差分法大致相同；与VIBE算法相比本文算法的查全率与查准率均略高于VIBE算法.因此，综合来看本文算法在背景较复杂的环境中准确性和完整性要优于其他四种运动目标检测算法.

为了分析本文算法的快速性，本文以时间复杂度为评价指标对五种运动目标检测算法在三组视频上进行了比较，比较结果如表2所示.

表2 五种方法在不同视频上的平均检测时间(t)

通过对比可以发现三帧差分法、混合高斯背景减除法、平均背景法和本文算法都可以很快地检测出运动目标，VIBE算法则需要较长时间才能检测出运动目标.由此看来，本文算法能够满足快速检测出运动目标的要求，且本文算法比较简单易于硬件实现.

5 结束语

本文通过将经均值背景建模所得的背景加入到三帧差分中，避免了背景像素点对于前景检测的影响，消除了传统的三帧差分法在检测过程中存在的“空洞”问题，能够准确完整的提取运动目标，并且本文算法比较简单能够快速的检测到运动目标，易于硬件实现.本文算法的不足在于当运动目标处于光照较强的环境中时会出现误检，因此后续的工作将对算法进行改进使得算法具有更优的性能.

[1] 黄凯奇,陈晓棠,康运锋.智能视频监控技术综述[J].计算机学报,2015,38(6):1 093-1 118.

[2] 凌志刚,赵春晖,梁 彦,等.基于视觉的人行为理解综述[J].计算机应用研究,2008,25(9):2 570-2 578.

[3] 邱光能,全惠敏.基于对称差分和背景减的运动目标检测[J].计算机工程与应用,2014,50(13):158-162.

[4] 谢 红,袁 博,解 武.LK光流法和三帧差分法的运动目标检测[J].应用科技,2016,43(3):23-33.

[5] 袁国武,陈志强,龚 健,等.一种结合光流法与三帧差分法的运动目标检测算法[J].小型微型计算机系统,2013,34(3):668-671.

[6] 邵奇可,周 宇,李 路,等.复杂场景下自适应背景减除算法[J].中国图象图形学报,2015,20(6):756-763.

[7] 王占凤,郭 星,徐秋月.基于改进的混合高斯模型背景减除算法[J].河南工程学院学报(自然科学版),2013,25(3):65-68.

[8] 周 晓,方玖琳,郑定超,等.基于三帧差分和滑动平均背景的运动目标检测[J].计算机测量与控制,2016,24(5):32-38.

[9] 孙明玉,丁 莹,李文辉.一种自适应阈值的运动目标提取算法[J].计算机应用研究,2010,27(6):2 380-2 383.

[10] 魏洪涛,李 瑾,吴细秀.融合帧差和VIBE的运动目标检测算法[J].计算机应用研究,2016,33(5):60-65.

[11] Sandeep Singh Sengari,Susanta Mukhopadhyal.A novel method for moving object detection based on block based frame differencing[C]// 3rd Int'l Conf.on Recent Advances in Information Technology.Dhanbad: Department of Computer Science and Engineering Indian School of Mines,2016:50-56.

[12] 魏 玮,吴 琪.三帧差结合改进高斯建模的运动目标检测算法[J].计算机工程与设计,2014,35(3):949-952.

[13] 赵光明,韩 光,李晓飞,等.基于融合帧间差的改进vibe方法[J].计算机技术与发展,2015,25(3):76-80.

[14] 陈俊超,张俊豪,刘诗佳.基于背景建模与帧间差分的目标检测改进算法[J].计算机工程,2011,37(S):171-173.

[15] 杨国亮,鲁海荣,丰义琴.基于帧间相似性约束鲁棒主成分分析模型的运动目标检测[J].计算机应用与软件,2016,33(1):142-146.