贾宇为,王汉军

1(中国科学院大学,北京 100049)

2(中国科学院 沈阳计算技术研究所,沈阳 110168)

随着电力信息化的快速发展,视频监控系统也在飞速发展.视频监控系统在实际应用中具有信息量大、实时性强、工作方式被动、易与其他技术相结合的特点,因此视频监控系统被广泛的应用于安防领域,是安防中不可或缺的一部分.而且随着视频监控系统的不断发展,视频监控系统在人们的生活中也越来越普及,被广泛的应用到生活中的各个方面.早期,视频监控系统主要用于安防问题,可以有效的对对监控场所设施保护,保护公众的财产安全.近几年,由于在电力生产过程中,由于人为操作不当或者是客观存在的因素,总是有可能发生各种潜在的危险.因此,通过智能视频监控系统监测工作人员是否安全操作设备对于工作人员的安全以及国家的财产安全保护就变得日益迫切和重要[1].

目前对于视频处理的方法中常用的有3 种方法,分别是帧间差分法、光流法和背景差分法.帧间差分法是通过相连帧图像之间的一些不同来对视频进行分析从而将运动目标提取出来,对动态变化的情形有一定的能力可以相适合,但是需要通过不断的调整找到合理的选择,否则会对最终的检测效果造成影响.光流法一种通过对比图像中运动目标的亮度的不同,从而得出结果的一种检测方法,该方法在监控摄像头移动的情况下也可以对运动目标进行监测,而且它在不知道监控场景的一些相关情况的基础上也可以进行监测,但是该算法的实时能力还有待提高,而且计算量比较大,在一些要求实时监控的场景下光流法有一定的局限性[2,3].背景差分法是先找到图像中的背景图像,然后用各帧图像与背景图像做对比,找到各帧图像于背景图像之间的不同,从而可以突出图像中的运动目标,它具有实现简单且处理速率高的优点,但是视频中太阳光照以及一些环境的变化因素对于结果会有一些影响,比如说在视频中有些对目标遮住的物体以及由于时间的不同引起光线的变化对最终监测的结果有一定的影响[4,5].特别是在视频背景不断变化的情况下即摄像头是在移动的情况下,背景差分法监测的结果可能会出现不准确甚至会有一些假的运动目标出现.

本文针对电网视频监控,在摄像机静止情况下,对监控画面中工作人员的行为进行检测研究,提出了一种帧间差分法与混合高斯模型相结合的运动目标检测方法,该方法对于降低帧间差分法算法中的“双影”现象有一定的效果,实现了运动目标检测的及时性、可靠性以及有效性.

1 基于视频内容的运动检测算法

1.1 帧间差分法

对于视频中人物的行为监测,要求精度较高,我在实验中选择的方法是帧间差分法,其基本原理图如图1.它是利用当前帧和上一帧之间的差异和相关性,对视频中的相邻帧做差分运算,再将差分运算得到的结果做二值化处理,最终提取出运动目标区域,具体流程如下[6].

图1 帧间差分法基本原理图

在视频图像序列中用Fm(x,y)表示视频中的第m帧图像,用Fm−1(x,y)表示视频中的第m−1 帧图像,Dm(x,y)是两帧图像经过差分运算得到的差分图像,公式如下:

Bm(x,y)是Dm(x,y)进行阙值化后的二值化图像,阙值大小为T.当差分图像Dm(x,y)中的像素点的灰度值大于阙值T时,就认为该像素点是运动目标,相反,如果灰度值小于阙值T,则认为该像素点是背景图像,具体公式如下:

帧间差分法的算法是比较简单的,它不需要对背景的更新进行考虑,而且帧间差分法在对目标进行监测的时候可以做到实时监测,但是帧间差分法中阙值化后的阙值大小是一个比较重要的值,它受到各种因素的影响,比如运动目标的移动速度等.往往在运动区域内存在大范围的空洞或在运动区域内有部分背景被包含的情况,从而在最终结果中出现预期效果于检测的效果不符或者有较大的差异.因此,在实验过程中对帧间差分法做了适当的改进,在实验过程中将帧间差分法与改进的混合高斯模型相结合,从而提高算法的准确性,对算法进行改进[7].

1.2 混合高斯模型

混合高斯模型与单高斯模型不同,混合高斯模型是通过用k个高斯模型来将图像表现成一种线性的组合,并且通过这种线性的组合来表现出图像中的每个像素点的特征,而且单个的像素也是不断变化的,它通过权值来反映出它在在整体变化中的表现.在取得新的图像帧后,利用混合高斯模型对这帧图像进行更新,并用新的图像中的像素值与混合高斯模型进行匹配,如果成功匹配的话则将其判定为背景点,否则就将其判定为前景点[8].

采用k个高斯分布对图像中的某个像素点建模.在t时刻内,坐标(x,y)的灰度值取值集合见式(3).

其中,Xi(x,y)表示i在1～t时刻中第i帧的图像上该坐标点的灰度值.那么在该时刻点就可以用k个高斯分布来描述(x,y)的概率密度函数.

将k个高斯分布线性加成组成一个高斯混合模型ρ,如图2所示.

图2 混合高斯模型结构示意图

其中,

在式(4)和式(5)中,k表示混合高斯模型是由k个高斯分布所组成的,通常取3～5,并且=1;X表示当前帧像素的灰度值,φi,t表示第i个高斯分布在t时刻时候的权重,ρi(X,µi,t,Σi,t)为混合高斯模型中的第i个模型在t时刻的概率密度函数,表达式见式(4).µi,t是第i个高斯分布在t时刻的均值向量,Σi,t是第i个高斯分布在t时刻的协方差矩阵[9].|Σi,t|是Σi,t协方差矩阵的行列式,并且有:Σi,t=E{(X−µi,t)(X−µi,t)T}.

对于每一个新的像素Xi,都会根据现有的k个高斯模型对新的像素进行检查,直到找到匹配的高斯模型.当像素点在高斯分布的2.5 个标准差范围内,那么就说明该高斯模型是像素点的匹配模型,并确定该像素点为背景点;否者说明高斯模型于该像素点不匹配,那么该像素点像就被定为前景点.若匹配,则按式(6)对高斯分布函数的参数 α,β进行更新;若不匹配,则只更新权值φi[10].

在式(6)中,α表示的是学习率,一般取0.001、0.001、0.01 等,取值不能过大,也不能过小;当模型匹配时R=1,否则R=0;是参数学习率.由第一个公式可以看出 α取值的大小对 β有着影响,α取值越大,β值就会越小,最终结果的鲁棒性就会越差;反之,α取值越小,β值就会越大,最终结果的鲁棒性就会越好,但是噪声也就增多.将k个高斯分布按照 φi,tσi,t值进行降序排序,背景模型用前δ 个分布进行表示:

其中,T是由背景复杂度确定的阙值.

2 改进的混合高斯模型

在传统的混合高斯模型中,我们是对整张图像进行分析,判断视频帧中区域哪块属于背景区域,哪块属于前景区域,在本文的改进方法中,首先对视频帧中内容进行区域划分,对于已经确定是背景区域的部分,将其背景区域的概率设置为1,也就是说该区域完全属于背景;同理对于确定为前景区域的部分,将其前景区域的概率设置为1,对于部分属于背景,部分属于前景的区域,则建立混合高斯模型对其进行分析,对区域内的像素点进行判断.如图3所示.

如图3所示,我们可以看到,部分像素点属于背景,部分像素点属于前景,计算出每个像素点前景、背景的概率,在根据混合高斯模型对其进行判断属于前景模型,还是背景模型.

在传统的混合高斯模型中,由于视频图像背景是在不断变化的,这时,高斯模型的学习率 α对于对于背景的更新有较大的影响,因此,α如果始终是恒定的值,那么对于实验结果最终的准确性会有较大的影响,本文中对 α的取值采用不同的取值方法[11].通过设置一个帧数阙值T0,对前T0帧的图像采用较高的学习率,而对于T0帧以后的帧数采用学习率较低的方法进行更新:

可以由式(8)可见:其中T0表示的帧数阙值,f表示当前视频的帧数,在图像帧开始的时候即在前T0帧采用的学习率是比较大的,随着帧数的增加,α的值逐渐减小,最后趋于稳定,这样就使得模型对于背景的适应能力较强,抗干扰性也提高了,同时对于环境噪声也由一定的适应能力和抗干扰能力.

图3 背景前景判断图

对于T0的选择,在本文中采用神经网络前中前向传播的方法进行确定的,如图4所示,其中X1～Xk为混合高斯模型的k个高斯函数,经过实验发现神经网络的层数为3 时由较高的准确度,而且处理速度较块,整个模型为从左向右传播,对高斯函数进行迭代,迭代次数为3,根据式(9)最终确定T0的值[12].

本文的算法如图5所示,首先将传输的运动视频采用帧间差分法将视频帧内的背景区域和前景区域区分开,然后对背景区域和前景区域采用不同的学习率进行处理,及采用较大的学习率的混合高斯模型处理前景区域,采用较小学习率的混合高斯模型处理背景模型.最后将运动目标区域提取出来.

图4 改进方法图

图5 整体算法流程图

3 实验设计与结果分析

3.1 实验设计

本文视频数据来自东北电力公司的监控视频.根据将帧间差分法和改进的混合高斯模型结合的检测算法,本文中选择了具有代表性的连续多帧图像来进行研究和实验.在对视频帧处理的时候,本文选择了视频的第255 帧图像进行处理.模型训练过程中,学习率不是不变的,随着时间的推移学习率 α不断减小,最终 α稳定在0.001.如图6和图7.

如图6所示工作人员在室内对设备进行检测,图7分别是采用混合高斯模型和改进过的混合高斯模型进行处理的结果图如图可以看到两种方法都检测出了前景目标,但是采用改进的混合高斯模型处理运动目标的得到的结果更加清晰而且在图7中采用改进的混合高斯模型处理后,可以明显的看出对运动目标的轮廓等各方面都有了明显的提高.

图6 室内检测运动目标原图

图7 室内运动目标检测图

如图8和图9所示,其中图8是用帧间差分法处理视频帧后得到的目标结果,图9是使用帧间差分法和混合高斯模型相结合的方法处理后得到的目标结果.可以发现,由于目标人物在视频中运动范围比较小,而且目标与别的人物会有重叠的现象,因此在图8中人物模型不够完整,目标轮廓出现了“空洞”的现象,而图9中的人物目标相对比较完整,在本文的算法中,通过对目标进行混合高斯模型训练后,可以极大的降低目标与背景人物重叠的影响,提高算法的准确度.

图8 改进前算法检测结果

图9 改进后算法检测结

3.2 实验结果对比

两种算法的实验结果对比如表1.

表1 各类算法测试结果对比

4 实验分析

本文视频数据来自东北电力公司的监控视频.根据将帧间差分法和改进的混合高斯模型结合的检测算法,本文中选择了具有代表性的连续多帧图像来进行研究和实验.

实验结果如图8和图9所示.其中,图8为帧间差分法得到的目标结果;图9为在帧间差分法基础上采用本文提出的改进高斯混合模型进行背景更新后的结果.可以看出由帧间差分法的到目标结果会有“空洞”现象,这是由于目标物体在两帧之间运动幅度较小,而且由较大的重叠区域,而用本文提出的改进混合高斯模型对背景进行更新后,目标被较为完整的检测出,而且“空洞”现象明显降低.相比于之前的算法有更好的准确性和实用性.

5 结论

本文提出了一种帧间差分法和改进的混合高斯模型相结合的检测方法,改进单一使用其中一种算法的不足,而且相比于传统的混合高斯模型,在检测结果上也有一定的提高,提高了对目标检测的准确性.

然而,本文算法还存在一定局限性,当在干扰过多的情况下,比如在恶劣的环境或者是当背景比较复杂时,不能较好地提取运动目标,下一步将对此加以改进优化,在后续研究中对背景更新需要不断改进,建立高度准确的背景模型,可以更加完整的检测出运动目标.在后续的研究中还需要在算法中加入自适应学习的过程,从而满足实际应用的需求.