杨文涛,郑国柱,郑立新,杨雪

(1.华中科技大学电子科学与技术系,湖北 武汉 430074；2.School of Electronic Engineering,Columbia University,NewYork,USA)

随着社会的不断发展,智能化的监控系统在工业生产、交通监控、银行安全等各个领域起着越来越重要的作用,实时视频监控系统越来越受到青睐. 在实时视频监控系统的应用中,从视频序列准确地实时获得运动的物体非常关键,要求运动物体检测算法有足够快的处理速度和良好的提取效果.目前有很多典型算法实现视频序列中的运动物体提取,如高斯混合模型[1-8]、时间差分法[9-10]、非参数模型[11]、中值滤波法[12]等算法,每种算法都有自己的优点和不足.

本文中提出基于高斯混合模型的带有光照自适应的背景减法,对快速光照变化下的前景提取有较好的处理效果. 采用每次只关心适合设定条件的那部分包含背景的单高斯分布,只更新感兴趣的那部分高斯分布,另一部分不感兴趣的高斯分布在高斯混合模型中的权重很小,几乎不影响像素点场景的整体分布和背景分布,可以忽略其对背景提取的影响,这样可以在不影响背景更新的情况下减少要更新的高斯分布. 由于引入了背景图像光照补偿,由光照变化引起的输入视频图像亮度的变化而引起的前景提取错误的情况可以得到更好的处理.

1 算法分析

1.1算法思想为了在光照快速变化时能得到更好的分割效果,并且减少运算量,本文中考虑用一种改进的基于高斯混合模型的背景减法. 对每个像素点用不固定个数且不超过5个的高斯分布来模拟像素点的场景分布,对每个像素点的像素值的分布的更新分3个阶段,每个阶段都衰减一些不感兴趣的高斯分布,这样每个像素点的感兴趣的高斯分布的个数会随时间而衰减直至只有稳定个数的包含背景分布的高斯分布.从感兴趣的高斯分布中得到背景,对提取的背景进行光照补偿,然后进行背景减法,从而减少运算量,改善背景减法的效果.

1.2 算法实体

1.2.1 算法初始化 第一帧图像到来时每个像素点用一个高斯分布初始化

X0为第一帧图像的像素值,μk=0,t=0=X0为第一帧图像的像素点高斯分布的均值,σk=0,t=0=30为标准差,ωk=0,t=0=1为权重.

1.2.2 获取感兴趣的高斯分布集合 初始化完成后,从输入视频中,每得到一帧图像就去更新每个像素点的高斯混合分布.为了衰减要更新的高斯分布的个数,把参数更新分为3个阶段,在每一个阶段通过高斯分布的的权重ωi,t-1>Tw,找出对应于每个像素点的感兴趣的高斯分布集合,这些高斯分布的参数是要更新的,第一阶段的权重经验阈值取0.025,第二阶段取0.050,第三阶段取0.100.根据阈值得到每个阶段帧数的下限值,从而知道每个阶段是哪些帧.

不同的更新阶段是通过帧数来划分的.更新的第一个阶段,是从第一帧到第Tfr帧,感兴趣的分布的权重阈值经验值Tw=0.025.根据改进的算法的参数更新方法及公式(3)-(11),基于通过权重选取感兴趣高斯分布的原则,取阈值Tw=0.025,希望感兴趣的高斯分布包含了背景信息的一个分布集合,并且这个集合在前40帧生成. 这个集合实际上是把像素点的场景分布较完整的逼近,包括了背景、移动物体、影子等. 如果在第一阶段的第40帧后出现了一个像素值,根据更新条件,若这个像素值无法更新集合里的高斯分布,则这个像素值将不会产生作用,因为感兴趣的高斯分布只在集合里. 交通正常的情况下,40帧的图像里面可以包含丰富的背景信息,40帧后的输入图像可以用于对已经得到的背景分布进行参数微调,这些微调通常是缓慢场景变化造成的.

为了得到第一阶段帧数的下限,可以考虑一种极端情况,在第40帧,像素点的输入像素值正好无法更新高斯分布集合,增加一个权重为0.025的高斯分布. 考虑特殊情况,因为逼近像素点场景分布的高斯分布最多为5个,而权重和为1,权重最大的高斯分布的权重大于(1-Tw)/4,约为0.25,背景分布的权重会≥0.25,这里假定权重最大的背景高斯分布fbg在40帧后一直没有可以更新它的像素值出现直至第Tfr帧. 为了在集合里充分保留所有的描述背景的分布,希望这个分布在第二个更新阶段前未被衰减掉,根据更新标识为i的高斯分布的更新方式,fbg的权重从第40帧开始衰减的公式为：

ωn=40ω40/n,n>40

(1)

fbg分布在第n帧的权重为ωn,在更新的第二阶段,舍去权重小于经验阈值为0.05的高斯分布,所以第二阶段之前fbg的权重经验阈值应不小于0.05 ,fbg才有机会进入第二阶段的更新从而稳定已经形成的高斯分布集合里的背景高斯分布,让已经存在的背景分布尽可能的存在于每一个更新阶段中,即到第Tfr帧时,fbg的权重要不小于0.05,由公式(1)得到n≤200,取Tfr=200.

第二阶段,在已有的高斯分布集合里进一步舍去不是描述背景的高斯分布. 在第Tfr帧到Tfr2帧取感兴趣分布的权重经验阈值Tw为0.05,为了得到第二阶段的帧数下限,根据第一阶段的特殊情况处理方式,根据公式(4)、公式(7)和公式(9),从第Tfr帧开始衰减的公式为：

ωn=200ω200/n,n>200

(2)

背景分布fbg分布在第n帧的权重为ωn,因为第三阶段感兴趣分布的权重经验阈值为0.1, 希望背景分布在这个阶段前不被衰减掉,即到第Tfr2帧时fbg权重要不小于0.1,由公式(2)得到n≤500,取阈值Tfr2为500.

第三阶段,取感兴趣分布的权重经验阈值为0.1,进一步衰减不是背景的高斯分布.

(3)

此时刻这个像素点的场景分布用N个高斯分布来描述. 在第t帧用像素值分别减去感兴趣的每个单高斯分布的期望值,如果|Xt-μi,t-1|≤2.5σi,t-1,那么这个像素值可以更新标识为i的高斯分布,更新方式如下：ωi,t=(1-α)ωi,t-1+α

(4)

μi,t=(1-ρ)μi,t-1+ρXt

(5)

(6)

(7)

(8)

感兴趣的高斯分布但是当前标识不为i,只更新权重,ωj,t=(1-α)ωj,t-1,j≠i

(9)

更新后,对权重归一化.

在第一阶段前40帧中,如果第t帧的像素点(x,y)的像素值无法更新感兴趣的k个高斯分布,就替换或增加一个单高斯分布μk+1,t=Xt,σk+1,t为一个小的初始值30,

(10)

(11)

对权重归一化,感兴趣的高斯分布和新的高斯分布成为这个像素点的高斯混合分布.

1.2.4 背景图像的光照补偿 通常情况下,普通的高斯混合模型能够描述比较复杂的场景,能够比较好的处理视频里有缓慢移动物体或光照缓慢变化的情况,但是在光照突变等产生的输入视频图像整体亮度快速变化而高斯混合模型的背景来不及更新的时候,前景提取就会产生错误.

本文中提出的带有光照自适应改进的高斯混合模型,减少了由这些因素引起的前景提取错误,对输入的图像和对应的从本文中改进的高斯混合模型提取的背景图像灰度化,分别从这两帧图像抽取若干个坐标对应的点,这些点尽量选择输入视频图像的背景像素点. 首先通过边缘算法得到输入视频图像的边缘图像,通过在输入视频的边缘图像按等间距行等间距列的取点,行距为drow=heightimg/40,如果所在行是奇数行,就从右向左每隔widthimg/80个像素点取一个点,取点的列坐标范围为(2widthimg/3,widthimg),如果是偶数行,从左向右每隔widthimg/80个像素点取点,取点的列坐标范围为(0,widthimg/3).

(12)

(13)

取点求和结束后取得这两个和的差值,计算这两个和的差值对于所取的像素点个数pixelcount的平均值,Ecps=(sumin-sumbg)/pixelcount

(14)

为了减少光照突变时引起的前景提取错误,把这个平均值加入背景减法时背景灰度图像每个像素点的灰度值,作为对背景图像的光照补偿.

1.2.5 背景减法提取前景 在第t帧图像输入前,首先获取经过光照补偿的背景灰度图像,用输入的第t帧灰度图像减去t时刻的背景灰度图像,当某个像素点的灰度值差值大于经验阈值Tforeground时,取阈值为20,并认为这个点是前景像素点.

2 实验仿真

带有光照自适应改进的高斯混合模型在320*240交通视频和关灯测试视频下测试.用本文中改进的高斯混合模型算法,交通视频中每一帧图像高斯混合模型中像素点个数随高斯分布个数的增加而逐渐减少,运算量随帧数增加而减小,如表1所示.

表1 图像的高斯分布个数随帧数的变化

表2 交通视频序列中不同的灰度差值所占的帧数

由于光照变化,交通视频输入图像和本文中改进的算法提取的背景在灰度上的差值,如表2所示. 从实验中得到,由于光照变化,交通视频的第1126帧输入视频和用高斯混合模型提取的背景的灰度值相差15.

图1、图2、图3显示的是本文中改进的高斯混合模型算法与普通的高斯混合模型算法的实验结果的比较.图1(a)原视频图像第1126帧,图1(b)普通的高斯混合模型提取的背景图像,图1(c)普通的高斯混合模型提取的前景图像. 图2(a)原视频图像第1126帧,图2(b)本文中改进的高斯混合模型算法提取的背景图像,图2(c)本文中改进的高斯混合模型算法提取的前景图像.图3(a)突然关灯后的的场景,图3(b)普通的高斯混合模型在关灯后提取的背景,图3(c)本文中改进的高斯混合模型算法在关灯后提取的背景.

3 结论

在Core(TM)2 Duo 2.0 GHz 处理器2.0 G内存的机器VC++ 6.0平台上做对比实验,在光照突然变化等环境下造成的输入视频图像整体的亮度突然变化时,带有光照自适应的改进的高斯混合模型的背景减法的前景提取效果比普通的高斯混合模型好,从实验可以看出,用改进的基于高斯混合模型的背景减法处理输入视频图像帧率比用普通的高斯混合模型处理输入视频图像帧率要高22.5%以上. 当算法程序运行足够长的时间后,出现一个物体长期停在某个地方的情况,停留的物体将不会被认为是背景,这样会造成错误. 只有再重新初始化,才会消除这种错误,所以这对算法初始化有一定的要求,在交通非堵塞的时候初始化比较适宜.

[1] Stauffer C, Grimson W. Adaptive background mixture models for real-time tracking[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Fort Collins, Colorado, 1999:246-252.

[2] Piccardi M. Background subtraction techniques:a review[J].Proc of IEEE Int Conf Syst, Man Cybern, Hague, Netherlands, 2004:3099-3104.

[3] Zivkovic Z. Improved adaptive gaussian mixture model for background subtraction[J] .Proc International Conf:Pattern Recognition, 2004,2:28-31.

[4] Shen C, Lin X, Shi Y. Moving object tracking under varying illumination conditions[J].Pattern Recognition Letters, 2006,27(14)：1632-1643.

[5] Mcivor A. Background subtraction techniques[J].In Proceedings of Image & Vision Computing New Zealand 2000 IVCNZ’, Reveal Limited, Auckland, New Zealand,2000:182-185.

[6] 杨莉,张弘,李玉山.视频运动对象的自动分割[J].计算机辅助设计与图报, 2004,16 (3):3012306.

[7] 刘洁,张东来.关于自适应高斯混合背景模型的更新算法的研究[J].微计算机信息, 2006, 22 (22)：241-242.

[8] 李红宝,徐建闽,林培群,等. 交通视频背景估计动态高斯混合模型[J].交通信息安全, 2009,4：8-11.

[9] Harville M. A framework for high-level feedback to adaptive, per-pixel mixture-of-Gaussian background models[C].Proceedings of European Conference on Computer Vision. Copenhagen, Denmark, 2002, 3:543-560.

[10] Cucchiara R, Piccardi M, Prati A. Detecting moving objects, ghosts,and shadows in video streams[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(10):1337-1342.

[11] Elgammal A, Harwood D, Davis L. Non-parametric model forbackground subtraction[C].Proceedings of International Conference on Computer Vision, Kerkyra, Greece, 1999:751-767.

[12] Cutler R, Davis L. View-based detection[C].Proceedings of International Conference on Pattern Recognition,Brisbane, Australia, 1998：495-500.