杨洪臣刘 松魏 东孟思瑞

（1 中国刑事警察学院 辽宁 沈阳 110035；2 深圳市公安局 广东 深圳 518000）

视频侦查中背景重构方法研究

杨洪臣1刘 松1魏 东2孟思瑞1

（1 中国刑事警察学院 辽宁 沈阳 110035；2 深圳市公安局 广东 深圳 518000）

为实现大数据侦查模式下视频侦查中侦查目标快速检索，利用计算机视频处理技术实现对海量视频中侦查目标的快速定位。现有的目标检测方法主要包含光流法、相邻帧差法和背景差法。其中背景差法在能较好实现背景重构的情况下能够快速准确实现视频中目标的检索。针对视频侦查中背景重构方法进行了研究，并取得了较好的效果。

视频侦查 背景自适应 背景重构

1 研究背景

据有关资料统计，地级市、行政区一般每个城市需要规划安装10～20万个摄像机，而省会级、一线城市视经济发达程度、地域面积可上至50万个以上；县级市、行政区规划的摄像机数量也多为1～2万个。如此数量的摄像头产生大量的视频，要依靠人眼从众多的摄像监控中找出侦查目标，费事费力，如大海捞针。如何针对涉案的海量视频进行摘要压缩、对象检索、快速定位嫌疑目标、目标信息自动提取等智能分析技术是目前急需解决的问题[1]。

本文就实现视频自动识别中的重点难点问题，背景自适应问题展开研究。在视频侦查中，从海量视频监控中提取重要侦查信息，就需要对运动目标实现运动检测，而运动检测的方法主要包含三种：光流法、相邻帧差法和背景差法[2]1568。

光流法可以不提取视频背景，直接对运动目标检测，但是其运算量较大，在低配置硬件条件下很难实现实时性；相邻帧差法实现相对简单，在目标低速运动条件下对运动目标的检测有一定效果，但是仍然存在残影现象，而在目标高速运动条件下对运动目标检测则会出现叠影现象，处理结果并不是很理想；而背景差法通过重构视频背景，再将视频帧与重构背景相减实现运动目标提取。背景差法对运动目标的提取相对完整准确且运算速度较快，故在运动目标检测中得到广泛应用。本文针对背景差法的重点问题——视频背景重构及更新展开研究。

2 现有背景重构算法

背景自适应算法大致可以分为两类。第一类是基于图像建模的方法，通过调整所建模型的参数实现背景的自适应；而第二类是通过一定规则对图像的像素灰度进行归类更新，实现背景的自适应。

第一类背景自适应方法中，主要方法先由Friedman和Russell提出将图像分为前景、背景和阴影，将图像像素灰度的分布用前景、背景及阴影三者高斯分布加权予以刻画，这种方法中仅仅用三个高斯分布就刻画了复杂的图像，准确性难以保证[2]1569；于是后来又有人提出了用K个高斯分布来刻画背景图像的像素分布的方法改进，该方法虽然增强了图像刻画的准确性，但是却存在算法计算量大，硬件依赖性高以及不能检测阴影的缺点；接着又有人提出了一种混合模型检测算法，提高了算法运算速度并能一定程度上检测运动阴影。之后也不断有人提出各种更优更新的基于图像建模的背景自适应算法，各有优缺点。

第二类背景自适应方法先是由Long和Yang提出[2]1570，他们假设某一像素在一段较长时间内稳定性最强的值，即某一像素值出现频次最多的值为这一点背景值，该方法在有前景干扰的情况下，往往会留下前景阴影；之后有人通过引入光流场的方法把前景物体干扰予以消除，但却提高了算法的复杂度，也增加了背景提取时间；随后，又有人提出可以假设背景像素灰度出现率总大于50%的值为这点像素灰度值，但如果背景像素值出现小于50%，这种方法就会发生错误；在此之后还有人提出基于偏微方程的背景提取方法，效果不错但是算法复杂，参数设置不好掌握。

总体来说，第二类背景重构算法需要对过去一段时间内图像帧进行统计，有一定时延，不如第一类算法背景重构来得迅速，但是第二类背景重构算法背景提取与前景是否有运动目标无关，不容易产生混同现象。

3 视频背景重构方法

3.1 提出假设

本文算法主要受Long和Yang，以及Gloyer提出的背景自适应方法启发，一是假设一段时间内某点像素灰度值出现频次最多的值为该点背景灰度值[3]；二是在背景更新策略上通过比较固定长度时间段内像素灰度分布稳定性来决定是否更新。

3.2 算法设计

本文算法主要由背景重构和背景更新两个步骤组成。如图1所示，初始背景重构后每隔一段时间对视频像素灰度值采样分析当前视频稳定性并与上一次采样分析结果比较，如果当前帧样分析结果显示本次采样视频像素灰度分布更加稳定，将本次采样数据保存下来，并覆盖上次采样数据，再根据本次采样数据重构新的背景，实现背景更新。

图1 背景更新算法流程图

3.2.1 背景重构策略

背景重构算法主要是通过抽取视频中n帧并统计各个像素点在这n帧中的分布情况，将每ξ灰度值归为一类。这里我们首先讨论在t0时间段第一次背景重构策略，更新中背景重构同理。

步骤1：对抽取n帧图像进行归类。

从t0时间段视频中抽取n帧图像，记为(f01,f02,…f0i,…f0n)。设定第i帧(x,y)处像素值为f0i(x,y)，于是对i帧(x,y)处进行灰度归类，存在下式：

式(1)中将像素灰度值以ξ作为一级进行归类，同时取像素灰度所属区间中间值作为该像素灰度值。当ξ∈{ξ|10≤ξ≤25,ξ∈Z}时，灰度归类结果比较理想（本文取ξ=15）。

步骤2：n帧(x,y)处像素灰度经过步骤1灰度分类后的得到的灰度值存储在数组GRAY中，有

对数组中各类灰度值进行统计，如式(2)所示，ni代表第i类灰度值个数，p代表频数不为0的灰度类别个数。

对于有(n1,n2,…,ni,…,np)

取(n1,n2,…,ni,…,np)的最大值nmax，如式（3）所示，其中下标max为n帧中(x,y)像素灰度分类命中频次最高的灰度类。

取graymax(x,y)作为(x,y)像素在背景重构中的灰度值。

3.2.2 背景更新方法

背景更新主要根据当前时间段t内取n帧图像中像素(x,y)灰度分布数据和之前各时间段决策出的像素(x,y)灰度最稳定分布数据进行稳定性比较，如果t时间段内n帧数据更为稳定，将其更新为像素(x,y)灰度最稳定分布数据。具体的稳定性比较主要依据像素(x, y)灰度分布的方差及p值的大小，我们假设一段时间内像素(x,y)灰度分布方差S(x,y)和p越小，该段时间内像素(x,y)灰度分布越稳定。式(4)、式(5)分别是灰度平均值与灰度分布方差计算公式。

当t时间段内S（x,y）和p值比当前像素(x,y)灰度最稳定数据的S0（x,y）和p0（x,y）小时，我们对像素（x,y）灰度最稳定数据更新，有：

像素(x,y)灰度最稳定数据更新完成后，利用3.2.1节背景重构算法对像素(x,y)进行背景重构，完成背景更新。

3.3 实验结果比较及分析

根据Long和Yang的方法我们选取视频初始100帧进行背景重构计算，可以得到如图2的背景，可以看到通过前述方法，重构出来的背景受前景干扰，出现前景阴影，效果并非理想。图3是通过像素灰度归类后重构出的背景，虽然图片部分区域有失真现象，但可以看到其受前景干扰较小，效果比较理想（对于失真，在后期二值化时可以消除所以不是背景重构主要考虑因素）。

图2 传统基于灰度统计的背景重构图

图3 基于灰度分类统计的背景重构图

在图2阴影部分随机取一像素A分析其在100帧中灰度分布规律，可以发现像素A灰度分布如图4所示，虽然其中53帧的灰度值分布在188～208之间，但是在这段灰度中分布较为离散，灰度为188的帧出现10次。而在0～255的灰度空间内，该像素灰度为34的帧出现了13次，最终导致像素A在背景重构中灰度值为34，并没有落在背景灰度本身属于的188～208这个区间内，导致该点的重构产生了偏差。

图3是经过背景归类后重构出来的背景图像，对同一像素A分析，在相同100帧内我们将像素A灰度值进行归类，每隔ξ个灰度级分为一类（实验表明ξ=10～25时可以较好重构背景）。图5是在ξ=15时像素A在100帧中的灰度分布情况，经灰度归类后，像素A灰度值在188处命中43次，落在背景灰度188～208的区间类。所以通过灰度归类重构出的背景效果较为理想，基本还原了背景图像，如图3所示。

图4 未进行灰度分类情况下A点灰度分布图

图5 进行灰度分类情况下A点灰度分布图

在背景重构中Long和Yang指出一段时间内灰度最稳定的值为背景的灰度值[2]1570，受这一思想的启发，我们不妨假设在多个段时间内，取灰度最稳定的值为背景灰度值。在t1时间段内我们取100帧并统计各像素灰度分布，同样的在t2时间段内我们再取100帧并统计各像素灰度分布，再比较t1、t2对应像素的分布情况，假如t1时间段内某像素点的分布更稳定，就将t1时间段该像素灰度覆盖t2时间段中对应像素灰度，类似的在t3再取100帧又与t2中的像素灰度进行比较，随着比较次数的增加，每个像素100帧中的灰度分布就会趋于稳定，就假设灰度分布稳定的时间段受前景干扰较少，该时间段灰度值重构出的背景更趋于真实背景。运用上诉背景更新策略，经多次背景更新后，像素A点在经过的时间中最为稳定的100帧灰度值被选保留下来，如图8，可以看到像素A的灰度分布主要集中在184～199区间内，较第一次背景重构时更加集中，可以更好地刻画像素A处背景灰度值，这也是在图6中像素A处前景干扰消失的原因。可以看到，经过多次背景更新策略处理后重构出的背景（图6）较之前重构出的背景（图2）前景干扰明显减弱，同时较之前灰度归类后重构出的背景（图3）图像更为细腻。

在经过多次背景更新策略处理后，每个像素100帧的灰度分布都是在一定时间内最为集中的，基于此我们重构背景得到了较好的结果。如果进一步将像素的灰度分布集中化，是否能将背景重构效果进一步提升。于是我们对经过多次背景更新策略处理后得到的像素灰度进行归类，使像素灰度分布更为集中。图9是100帧中像素A经过ξ=15灰度归类后得到的灰度分布图，可以看到此刻像素A的灰度分布主要集中在187.5，比灰度归类前更为集中。灰度归类后重构背景如图7所示，可以看到图7受前景干扰比图6更小，而图像的细腻度上比图3有显著提升，与图6无显著差别。

综上，基于像素灰度归类的背景重构自适应算法在背景自适应上有较好的效果。

图6 多次重构后未灰度分类背景重构图

图7 多次重构且灰度分类后背景重构图

图8 多次重构后未灰度分类A点灰度分布图

图9 多次重构且灰度分类后A点灰度分布图

4 总结

本文提出了一种基于灰度归类的背景自适应算法，在无相对静止的物体干扰下，能够较快且准确地重构出实时背景，进而通过背景帧差法快速定位目标，为公安视频侦查领域实现视频中快速检索目标提供了基础。实现海量视频快速检索目标，减少了人力投入并提高了效率和准确率，为案件侦破争取到了有利时机。因此，本文提出的视频侦查中背景快速准确的重构算法研究，对公安视频侦查工作具有重要的理论和应用价值。

[1]曾玉林,米源.浅析公安视频侦查信息化系统的设计[J].电子世界,2013(19):124.

[2]侯志强,韩崇.基于像素灰度归类的背景重构算法[J].软件学报,2005(9):1568-1576.

[3]齐美彬,王倩,蒋建国,等.基于背景像素值频次最高假设的背景重构算法[J].中国图象图形学报,2008 (4):723-728.

（责任编辑：孟凡骞）

TP391.4

A

2095-7939（2016）04-0016-04

10.14060/j.issn.2095-7939.2016.04.003

2016-11-15

杨洪臣（1964-），男，吉林梨树人，中国刑事警察学院声像资料检验技术系主任、教授，主要从事声像资料检验研究。