丁 艺 陈树越 刘金星 戴永惠 朱双双

基于归一化目标像素的人群密度估计方法

丁 艺 陈树越*刘金星 戴永惠 朱双双

(常州大学信息科学与工程学院 江苏 常州 213164)

由于像素统计方法在提取高密度人群特征时，可能会导致在计算感兴趣区域(ROI)中的人数时出现较大的误差，因此提出归一化前景目标像素提取人群特征，并采用支持向量机(SVM)对ROI中的人群密度进行估计。首先利用混合高斯模型消除背景，并用Otsu算法提取人群目标，然后进行归一化前景目标像素的人群特征提取，最后利用支持向量机DAG算法实现人群密度分类，并与人工神经网络方法、基于像素的和基于纹理的方法进行了对比。实验结果表明正确检测率可达到95%。

人群密度估计 归一化前景目标 人群特征 支持向量机

0 引 言

随着社会经济的发展和城市化进程的加快，人们的社会活动增多，在一些公共场合(如车站、体育馆、机场等)[1]经常会出现人群过度拥挤的现象。人群过度拥挤就会存在安全隐患，甚至会出现一些事故，除了对整个摄像范围内的人群密度做出估计之外，有时还需要估算出部分区域聚集人群的密度。因此利用人群密度估计对这些人流量大的场所进行监控就显得十分必要[2,3]。

目前智能人群密度估计的主要方法有基于像素的统计方法、基于纹理分析分方法和基于个体特征的分析方法[4-6]。像素特征分析方法在处理低密度人群时，准确度较高，但是高密度时会出现重叠问题，准确度较低；而纹理分析方法在处理低密度人群时准确度相比前者会大大降低。

为了能够更加高效准确地估计人群密度，我们提出了归一化前景目标和基于DAG(有向无环图)算法的支持向量机方法来估计人群密度。该方法首先利用混合高斯模型[7,8]的背景减除技术来提取人群前景，结合Otsu算法提取人群特征并得到二值图。然后采用透视矫正算法来提取人群前景区块像素，计算归一化前景目标的面积。最后将特征向量放入训练好的支持向量机中进行分析得到人群密度结果。

1 人群密度估计

人群密度估计系统采用混合高斯背景消除和边缘检测的方法从视频图像中提取前景特征；因为距离摄像机越远的人物，在图像中所占像素点数越少，而距离摄像机越近，其在图像中所占像素点数越多，所以有必要对提取的前景目标像素进行归一化和透视矫正，通过计算归一化的前景目标像素[9-11]的面积，才能最终预测场景中的密度等级。

1.1 人群特征提取

在通常活动场景中，人物活动范围有限，不会占据整幅图像，因此需要对图像中的ROI区域进行选择，减少背景的干扰。为此，采用基于混合高斯模型的背景消除技术来提取前景人群。混合高斯模型算法对环境变化具有较强的适应性，它是比较常用的背景建模方法，能描述像素的多模状态，能够对相对复杂、光照缓慢变化或存在小幅度重复运动的背景进行较为准确的建模，应用比较广泛。

当最终的前景目标被识别后，将所处理的图像通过阈值技术转换成二值图像，阈值是通过Otsu算法[12,13]自动获取的。如果它们的阈值超过预定的阈值，图像中的单个像素被标记为“对象”像素，阈值为1；否则，作为背景像素值为0。

1.2 归一化前景

原始前景区块会出现透视畸变(也称射影畸形)，即距离摄像机越远的物体，在图像中所占像素点数越少，而距离摄像机越近的物体，在图像中所占像素点数越多。如图1所示，参考人物从距离相机较近的位置移动到距离相机较远的位置时，在图像中占有的面积变小。提取的视频中，将提取的人群区块转化为二值图[14]，区块大小不同，其占有的像素数也不同，得到的前景目标像素数可能会影响最终的计算精度。因此，有必要对原始前景目标进行像素归一化。

图1 同一参考人物在不同位置图像

从人群特征提取模块中得到二值图像后，提取所有前景区块中的像素总数。采用相比其他算法较快的区块标记算法来提取像素区块，每个被检测到的不同区块标记号码，作为标识索引，然后再计算像素数目或索引区块大小。

图1为同一个参考人物在距离相机不同位置，AB水平线上是第一时刻参考人物所在位置，CD水平线上是第二时刻的位置。由于摄像机存在透视畸变，水平线AB和CD在拍摄的画面中是平行的，而在实景中AD和BC是平行的。可以明显看出，第一时刻参考人物区块的面积要大于第二时刻。假设参考人物在水平线AB上和CD上的所占像素的宽和长分别为a1、b1及a2、b2。面积比例公式为：

(1)

由于每个人的宽度不同，并且a1与a2的比例应该与水平线AB和CD的比例保持一致,所以面积比例也可表示为：

(2)

该比例表示同一个参考人在随着摄像机与其距离的远近在图像当中所占像素数的变化率，假设水平线AB上的权值ω0为1，则水平线CD上的权值ωn为：

(3)

那么通过权值和比例可以矫正位于水平线AB和CD之间人物图像的像素，假设任取一个参考点M为人物的中心，若M距离AB和CD的垂直距离分别为h1和h2，根据定比分点的坐标公式，M点对应的权值ωi为：

(4)

将式(3)代入，可以得到：

(5)

然而上述得到的值是针对人物整体在图像中的情况，当人的部分身体在这范围内，上述公式就不能使用了。因此，只需要计算每个前景目标区块的像素权值。每个区块大小(每个前景目标区块的像素总和)与各自分配的权值相乘就是归一化的像素值。每个区块归一化的像素之和就是最终人物像素总数。设每个归一化前景区块的像素值为pls，则像素总数S为：

S=∑pls×ωi

(6)

将得到的每个像素值相加即为所有区块的像素总和。

通过归一化的前景目标像素总和，运用支持向量机中典型的有向无环图算法来预测人群密度等级。而传统方法是将权值代入线性方程中来计算人数。

1.3 人群密度估计

在获取了人群特征之后，输入到支持向量机分类器中，经过训练，建立支持向量机分类模型，对测试的样本进行分类和预测。

1.3.1 人群密度分类

在实际测试中，以所拍摄的视频数据作为测试数据，根据需求定义单位面积人数的范围，如表1所示，将人群密度分为低中高三个等级。

表1 密度分类表

1.3.2 支持向量机

支持向量机在解决小样本、非线性以及高维模式识别等实际问题中具有许多特别的优势。由于文中所用的人群图像数量有限，因此采用SVM来解决训练分类问题[15]。支持向量机分基本思想：将非线性可分空间转化为线性可分空间，在新的线性可分空间上寻求广义最优分类面，非线性变换通过定义适当的内积函数即核函数来实现。判别函数为：

(7)

其中sgn(·)为符号函数，K(X,X′)为内积核函数。输入特征向量为X=(x1,x2,…,xd)，共有n个支持向量X1,X2,…,Xs，用内积函数进行非线性变换，再由决策层决定决策，最后生成分类结果。

多类SVM 的分类和识别主要有两种方法,一是根据多类样本集直接设计分类器,在样本多的情况下，这种方法求解比较复杂。另一种是分解法，将多类样本分类器的设计转化为多个两类问题的分类器设计问题,这类方法求解简单, 在实际中应用很广。比较有代表性的多类SVM方法有一对一(one versus one，1-v-1)、一对多(one versus rest,1-v-r)和Platt的有向无环图(direct acyclic graph,DAG)算法。

Platt提出的DAG算法实际上是建立在1-v-1基础上的。它包含k(k-1)/2个节点，每个节点为一1-v-1分类器。实验分为三个等级，低密度标记为A，中密度标记为B，高密度标记为C，整个算法可用图2所示。

图2 DAG算法示意图

2 实验结果

首先实验前期的人群特征提取过程如图3所示。图3(a)是背景图，当出现人群，自由选择感兴趣区域，如图3(b)所示，红色多边形区域为选择的ROI区域，区域内包含三个像素区块；然后如图3(c)所示，利用混合高斯模型对ROI区域内的其中一个区块进行背景消除、边缘提取；最后将ROI区块转换成二值图，如图3(d)所示。对二值图进行透视畸变矫正，计算矫正后的目标像素数。

图3 人群特征提取过程

实验中的这三类密度人群图像中，训练样本和测试样本每组40幅用于人群密度的分类，一共240幅图像。在MATLAB7.0平台下对视频进行测试，所得结果如表2所示。

表2 视频实验分类检测结果

从表2的分类结果来看，平均准确率达到了95%，说明此方法基本能够满足视频监控的要求。作为实验对比，采用了神经网络计算人数的方法，以及基于纹理方法[5]和基于像素方法[17]。如图4所示，横坐标表示人数，纵坐标表示正确检测率。实线部分为基于前景目标像素统计的人群密度估计方法的正确检测率，粗虚线部分为利用神经网络方法的检测率，细虚线部分为传统方法基于像素统计的正确检测率，点划线为基于纹理方法统计的正确检测率。可以看出，实验中人群密度估计系统的正确平均检测率在95%以上，利用神经网络方法的检测率为92%以上，基于像素和纹理方法基本在81%以上；可见基于像素和纹理方法在低人群密度时已经出现较高的错误检测，而所提出的基于归一化目标像素的人群密度估计方法在中等人群密度才出现错误检测，但较高于其他几种方法的正确检测率。

图4 三种密度估计准确率趋势

3 结 语

提出了基于前景目标像素统计的人群密度估计方法。采用透视矫正算法来提取人群前景区块像素，计算归一化前景目标的面积；将特征向量放入训练好的支持向量机中进行分析得到人群密度结果。

实验结果可以看出，实验数据精度较高，该方法可达到95%的正确率，训练越多，系统的准确率越高，基本能够满足智能化人群密度监控的要求。但是在非常高密度的人群中，检测精度还是会下降。这个问题也是我们下一步研究的重点。

[1] 黄璐,林燕.一种基于视频的车站人群密度估计算法[J].计算机时代,2012(7):23-25.

[2] 苏航,郑世宝,杨华.视频监控中人群流量和密度估计算法分析[J].电视技术,2009(11):100-103.

[3] 任庆云.智能视频监控中的人群密度估计方法[D].河北师范大学,2011.

[4] 覃勋辉,王修飞,周曦,等.多种人群密度场景下的人群计数[J].中国图象图形学报,2013,18(4):392-398.

[5] 李寅,王贵锦,林行刚.结合局部和全局特征的人群密度估计算法[J].清华大学学报:自然科学版,2013(4):542-545.

[6] 王雅琳.基于灰度共生矩阵的人群密度估计算法研究[D].西安科技大学,2013.

[7] 李敏,刘轲,罗惠琼,等.基于混合高斯模型的异常检测算法改进[J].计算机应用与软件,2014,31(6):198-200.

[8] 张虎,方华,李春贵.基于改进混合高斯模型的自适应运动车辆检测算法[J].计算机应用与软件,2014,31(1):286-289.

[9] Ma R,Li L,Huang W,et al.On pixel count based crowd density estimation for visual surveillance[C]//Cybernetics and Intelligent Systems,2004 IEEE Conference on.IEEE,2004,1:170-173.

[10] Gunduz A E,Temizel T T,Temizel A.Density estimation in crowd videos[C]//Signal Processing and Communications Applications Conference (SIU),2014 22nd.IEEE,2014:822-825.

[11] Jiang M,Huang J,Wang X,et al.An Approach for Crowd Density and Crowd Size Estimation[J].Journal of Software,2014,9(3):757-762.

[12] Otsu N.A threshold selection method from gray-level histograms[J].Automatica,1975,11(285-296):23-27.

[13] 王磊,段会川.Otsu方法在多阈值图像分割中的应用[J].计算机工程与设计,2008,29(11):2844-2845.

[14] 李雪峰,李晓华,周激流.基于完全局部二值模式的人群密度估计[J].计算机工程与设计,2012,33(3):1027-1031.

[15] 柴进.视频监控中的人数统计和人群密度分析[D].西安电子科技大学,2011.

[16] Polus A,Schofer J L,Ushpiz A.Pedestrian flow and level of service[J].Journal of Transportation Engineering,1983,109(1):46-50.

[17] 陶茂辉.基于视频图像的人群密度估计研究[D].电子科技大学,2014.

CROWD DENSITY ESTIMATION BASED ON NORMALISED TARGET PIXELS

Ding Yi Chen Shuyue*Liu Jinxing Dai Yonghui Zhu Shuangshuang

(SchoolofInformationScienceandEngineering,ChangzhouUniversity,Changzhou213164,Jiangsu,China)

When extracting high density crowd features based on pixel statistical methods, it may lead to bigger errors in estimating the number of crowd within the region of interest (ROI). Therefore, we presented a technique to extract crowd features based on normalised foreground target pixels, and adopted support vector machine (SVM) to estimate the crowd density in ROI. First, we used the mixture Gaussians model to remove the image background and the Otsu algorithm to extract crowd targets, then we employed the normalised foreground target pixels method to extract crowd features. Finally, we used the DAG algorithm of SVM to achieve the classification of the crowd density. Moreover, we compared the presented technique with artificial neural network approach and the methods based on pixels and textures. Experimental results showed that the rate of true detection could be up to 95%.

Crowd density estimation Normalised foreground target Crowd feature Support vector machine

2014-12-10。丁艺，硕士，主研领域：图像处理。陈树越，教授。刘金星，硕士。戴永惠，硕士。朱双双，硕士。

TP391.41

A

10.3969/j.issn.1000-386x.2016.04.049