张 颖，连 旭

（辽宁科技大学 电信学院，辽宁 鞍山 114051）

运动人体轮廓检测算法的分析与改进

张 颖，连 旭

（辽宁科技大学 电信学院，辽宁 鞍山 114051）

在视频序列的人体运动分析中，实时分割出运动的人体，是研究的关键步骤。为了克服不均匀光照、前景运动缓慢、背景中存在摇摆的树叶等因素对检测带来的影响，提出了一种背景减除法与帧间差分相结合的运动目标检测方法。该方法首先通过基于帧差法的背景模型建立方法建立背景图像，再结合背景减除与带有权值的帧间差分检测运动目标，降低目标物体对速度和环境干扰的敏感性。最后通过形态学梯度运算操作消除外界噪声的影响。实验结果表明，本文提出的算法计算简单，对环境适应能力较强，是一种有效的运动人体检测方法。

运动目标检测；背景模型建立；权值多重帧间差分；形态学梯度

人体运动分析是目前图像识别领域研究的一个热点，它在步态识别领域、体育运动分析、智能安全领域、医疗诊断等方面都有着非常广阔的应用前景。它涉及到计算机视觉、模式识别、图像处理、图像理解、人工智能等多个领域，是跨学科研究课题。人体目标轮廓的提取效果直接影响到后期的计算机理解与行为的识别，因此，运动人体的检测与轮廓的提取是计算机视频图像中最基础最关键的技术，对步态识别、智能安全等具有至关重要的作用。

人体运动检测是指在输入视频图像中确定运动人体的位置，尺度大小和姿态的过程[1]。目前采用较多的、比较经典的人体运动检测算法主要有帧间差分法、背景减除法、光流法等[2-3]，每种方法都有其各自的适用范围及约束条件。帧间差分法具有运算简单，但是对于缓慢运动的前景目标容易产生空洞现象。背景减除法简单易行，但是对于背景中光照比较敏感，光流法优点是对目标的帧间运动限制较少，缺点是运算复杂，对硬件要求较高，不方便使用。

针对运动人体始终出现在背景中的情况，文中提出了一种新的背景提取方法：基于帧间差分法的背景估计算法，首先采用帧间差分的思想，对连续的几帧图像进行单个像素的运算，根据单个像素运算后所呈现的结果构建背景模型，然后应用此背景图像对相应的帧进行减除运算，进而获得运动人体图像信息。

对于帧间差分法的缺点，文中提出了有权值的多重三帧帧间差分法，即通过求取连续多重三帧序列图像中前后帧差所重合的部分来得到运动目标的轮廓。

有权值的多重帧差法可以有效的克服由于天气或者光线变化所带来的不利影响，弥补了背景减除法的缺陷，而背景减除法又可以很好的去除帧间差分法所带了的空洞效应，因此两者可以联合应用，互补不足，进而得到比较好的处理效果。

有时因为噪声的影响，会使检测的结果中出现一些本是背景区域的像素点被检测成运动区域，另外背景光线的扰动，人体的阴影等也可能被判为运动区域，为消除这些影响，引入了形态学梯度运算，实践证明加入形态学梯度运算不仅去除了小的噪声影响，更有效的避免了不均匀光照或者阴影等带来的人体轮廓分割错误。

1 常见的运动人体检测方法

1.1 帧间差分法

帧间差分[2]，也称为时域差分，是运动视觉的方法中最为简单快速的方法，常用的帧间差分就是连续两帧进行相减，然后二值化处理得到运动的区域。如设Fk是图像序列中第k帧图像灰度数据值，Fk+1是图像序列中第k+1帧图像灰度数据值,则时间相邻的两帧图像的差分图像定义为式（1）：

其中T为阈值。如果差值大于T，则说明该区域的灰度变化范围较大，属于运动目标区域，否则该属于背景区域。

但在实际应用中，如果运动目标的前后两帧变化不大，则可能导致部分区域重合，导致检测到的运动目标不够完整。

1.2 背景减除法

背景减除法[3]是目前最常应用的一种运动目标检测方法，其基本原理是首先构造一幅背景图像，然后用当前帧与背景帧做差分运算，通过阈值化操作对差分结果进行分割，假设t时刻背景帧图像为F0，对应的当前帧的图像为Ft，则差分图像表示为式（2）：

如果当前帧图像与背景图像相应像素的灰度值之差大于阈值T，那么当前位置的像素值则置为1，即认定该区域属于运动目标。

背景减除法操作方便，运算量小，在一般较为简单的运动提取过程中可以达到很满意的结果，但也有很多不足：1）对光线敏感，如果当前帧与背景中的光照条件有差别，则运动人体的提取不能达到很好的效果；2）若当前背景中的运动人体与背景中相邻的某些灰度值差别很小，则检测出的信息就不够完整，小部分运动物体的轮廓可能会吞没在背景图像中，使运动人体图像不能很好的得到显示；3）检测出的部分区域容易产生重影，给后续的分析、识别等工作带来错误信息，产生错判。

1.3 基于光流场的方法

基于光流场[3，9]的方法，也称为连续处理方法，通常假定相邻时刻之间的间隔是很小的（几十毫秒之内），从而相邻时刻的图像之间的差异很小，可以求得稠密（即图像中的每一像素）处所对应物体的运动信息。光流法也采用两步：第一步，是计算光流场，第二步则是由光流场来计算场景中物体的三维运动和结构。光流场的方法能够很好的用于二维运动估计，它也可以同时给出全局点的运动估计。但是本身还存在着一些问题：遮挡问题、孔径问题、缺乏足够的空间图像梯度以及计算量很大的问题。

2 改进的运动人体目标提取方法

针对运动人体轮廓提取时经常出现的问题，文中主要在背景的提取，帧间差分法的应用以及图像轮廓后处理方面做了改进和优化。

2.1 基于帧差法的背景模型建立及运动目标提取

在背景减除法中，提取背景模型的准确与否，直接关系到最终检测结果的准确性。最简单的背景提取方法是时间平均法，就是将一段时间中的图像序列求和然后做平均，获得一幅近似的背景图像，但是这种方法容易将前景目标混入到背景中，使分割不充分，产生混合现象。还有一种方法就是建立混合高斯背景分布模型，这种方法能准确的提取背景，但是模型复杂，计算量大，需要很好的硬件方面的支持从而完成实时运动目标的检测。

文中用了一种新的构造背景模型的算法，这种算法相对来说运算量较小，操作简单，又能很好的将前景的运动人体进行很好的去除，得到比较满意的背景图像。

假设图像中某像素点的亮度表示为Ii(x,y)，其中(x,y)表示像素点所处的坐标位置，i表示第i帧图像（i=1，2，3…N），N表示总共有N帧图像数，相邻两帧图像之间的差为SUBMi(x,y),d表示相邻两帧间对应像素的实际差值。计算式（3）如下：

其中阈值T的设定用来去除一些较小的噪声。SUBMi(x,y)表示像素点在位置(x,y)处随时间变化的灰度曲线。根据SUBMi(x,y)的值本文将这条曲线进行分段，当SUBMi(x,y)大于0时表示此位置的像素点灰度值在当前时段有变化，可能是前景运动目标，当SUBMi(x,y)等于0时表示此位置的像素点灰度值保持不变，表示此位置在当前时段可能处于背景状态。我们希望得到的就是的值为0的点，当SUBMi(x,y)长时间处于像素值为0时，表明这段时间内该坐标点的灰度值表示的是背景值，可以直接用于背景模型中。本文将其中被检测到的静止部分用集合{Sj(x,y),(1＜j

B(x,y)表示重建的视频背景图像，实验结果表明这种方法可以很快速准确的恢复完整的背景图像。

当帧差图像沿时间的变化函数出现图2中的情况时，表明背景图像中的相关位置(x,y)处的像素值可能是连续不间断变化的，即图像中可能有树叶等随时变化的物体出现，这种情况下可采用均值操作，求当前坐标处的所有帧的平均值作为背景像素值，以减小背景图像中不断抖动的物体所带来的影响。

图1 帧差图像沿时间的变化函数Fig. 1 The resulting image after subtracted

图2 有树叶等抖动物体出现时的帧差图像沿时间的变化函数Fig. 2 The resulting image influenced by leaves and other objects

运用背景图像B和当前帧Ik的差分操作，得到差值结果IBk,本文通过设定一个阈值T来将差值图像进行二值化，数学表达式如式（6）所示：

阈值的选取关系到目标分割质量的好坏，本文中采用了最大类间方差法[7]（Otsu法）来确定阈值T。阈值T使图像进行二值化处理后，前景和背景的两个像素间的类间方差最大，也就是构成了两部分图像的差别最大。

2.2 有权值的多重三帧帧间差分法

由于两帧帧间差分法有两个明显的缺点[4]：1)检测出的目标中包含可两帧中变化的信息；2)前景运动物体运动较慢时，两帧间目标重叠部分不容易被检测出来。考虑到运动中的人体速度不是很快的因素，文中在此提出了有权值的多重三帧帧间差分法，即通过求取连续多重三帧序列图像中前后帧差所重合的部分来得到运动目标的轮廓，由于多重帧间差分法进行的都是加减法以及比较运算，因此运算简单，相比三帧帧间差分法，在基本不增加计算量的基础上，能避免运动速度较慢，造成运动人体轮廓提取时出现的空洞现象，可以得到更好的处理效果。本文根据人体运动的大致速度，选取了 7 帧序列图像 Ik，Ik+1，Ik-1，Ik+3，Ik-3，I+5k,Ik-5中并且对不同时间差的的两幅图像之间的差值采用了不同的权值，时间差较大时权值较小，时间差较小时权值较大，这样可以避免由于大的时间差而引入的其他运动噪声。具体步骤如下：

步骤一：读取三帧图像Ik，Ik+1，Ik-1分别求出两帧图像的绝对差灰度图像IDkk-1,IDk+1,k

设定阈值T将差值图像进行二值化，T的选择采用Otsu法，从而提取出运动区域，数学表达式如式（7）所示：

同理，分别求出 IDk,k+3，IDk+3,k，IDk,k-5，IDk-5,k并且两两进行逻辑与运算以提取前后帧差所重合的部分来得到运动目标的轮廓。

步骤二：上述交集运算与阈值运算结束之后形成三幅二值化的图像，然后再将这三幅二值化的图像进行求和运算，从而得到运动目标的图像。在求和运算进行时，对各个子图像赋予了不同的权值，用以去除由于帧差相隔时间较长的两帧图像可能引入的其他非人体等前景目标运动所带来的噪声。

步骤三：在完成了图像的带权值求和操作以后，对于图像中的由于时间差较长所造成的非人体运动目标形成的噪声，又采取了一次阈值处理，阈值T的选取根据实际情况确定，在这本文选取阈值为0.5，经实践证明可以得到比较好的处理效果。具体算法流程及权值如图3所示。

图3 有权值的多重三帧帧间差分法流程图Fig. 3 Flowchart of three inter-frame difference method with the right value

2.3 运动目标轮廓提取

带权值的多重三帧帧间差分法可以有效的克服天气、光线等条件缓慢变化的影响，弥补了背景减除法的缺陷，而背景减除法能够弥补当运动目标速度过慢时，帧间差分法提取目标产生的空洞的缺陷。因此，通过逻辑或运算合并这两种方法所提取的运动目标图像，就可以获得更好的前景检测效果，数学表达式如式（8）所示：

ICK为两种方法结合后所得到的运动人体图像的轮廓。

2.4 基于形态学梯度的后处理操作

由于人体像素点与对应位置背景像素点灰度值差别不大，或者人体边缘梯度只较小等因素，造成人体边缘处断裂、边缘粗糙等，而且内部有噪声等，还需要对所提取的运动目标图像进行后处理操作。文中采用了形态学梯度[6]运算的方法，所谓形态学梯度，即从膨胀后的图像中减去腐蚀过的图像。腐蚀和膨胀是数学形态学中最为基本的两种运算。其中腐蚀算子主要用于消除物体的边界点，使边界点向内部收缩，可以去除小于结构元素的前景点，及孤立的前景点。而膨胀操作与腐蚀的操作正好相反，主要用于对二值化图像边界点进行扩充，将与前景目标接触的所有背景点合并到该目标中，是使边界向外部扩张的过程，因此膨胀对于填补目标中的空洞很有用。

经过形态学梯度运算后，能够去除孤立的小点、毛刺、消除一些小的物体，并且使运动图像的边界更加平滑，没有断裂点，最终得到比较完整的运动目标轮廓。

3 具体处理过程描述

整个系统的具体处理过程可以分步骤如下进行：

1）对输入的图像序列做中值滤波操作，为防止图像中噪声密度过大时而导致的去噪不彻底等影响，可以采用自适应的中值滤波器[5]，对于密度较大的噪声，自适应中值滤波器可以起到很好的处理效果，得到的滤波图像为M；

2）采用基于帧差法的背景模型建立方法，建立图像的背景模型BK。

3）得到背景图像之后，应用背景减除法获取运动人体目标的轮廓。在背景减除中用到的阈值T采用Otsu法进行确定。

4）采用有权值的多重三帧帧间差分法进行运动人体轮廓的检测，获得运动人体轮廓图。

5）结合步骤3和4所得到的结果，采用加和运算操作合并两个图像，进行运动人体目标的提取。

6）在步骤5操作得到的结果图像基础上进行形态学梯度运算，进一步去除细小噪声及不均匀光照的影响。

7）对6得到的形态学处理后的图像采用填充操作，得到最终的完整运动人体轮廓图。

图4为从视频图像中的提取的任意一帧图像，由于摄像机在工作时可能带入一些噪声，因此首先进行了自适应的中值滤波操作，消除大部分噪声点的影响，为进一步操作奠定了比较好的基础。然后应用了基于帧差法的背景模型建立方法得到图5，注意到原始图像中的前景运动人体目标已经被去除，只剩下背景图像，验证了本文提出的算法起到了很好的效果。应用原始图像减去背景图像，再通过阈值处理，得到了运动人体轮廓，当图像中的前景目标与背景图像差别不是很明显时，产生了一些分割错误，部分运动人体目标没有很好的得到检测，另外由于光照的变化也可能引入一些噪声区域。采用有权值的多重三帧帧间差分法进行运动人体轮廓检测后的结果，相比两帧帧差法有了很大的改进，运动人体整体轮廓信息得到了很好的检测，但是由于人体内部部分区域像素的相似性，比如衣服颜色在部分区域是相同的，导致了轮廓内部可能产生的空洞现象。然后将多重帧差法和背景减除法相结合，得到了清晰的整体轮廓信息，在图6中，运动人体的轮廓信息基本上得到了很好的检测，背景减除法的分割错误与帧差法的空洞效应都得到了消除。图像7是在图像6的基础上又进行了一次形态学梯度运算，经过处理，多余的信息被去除，并且运动人体的边缘轮廓更加清晰，消除了不必要的断点。经过轮廓内部填充，得到了最终的完整运动人体轮廓信息。

图4 原始视频中提取的一帧图像Fig. 4 The image extracted from the video

图5 得到背景图像Fig. 5 Background image

图6 经步骤五得到合并图像Fig. 6 The merged image

图7 形态学运算后人体边缘图像Fig. 7 The edge image after morphological operations

4 结束语

文中针对运动人体轮廓提取过程中经常出现的问题进行了探讨并提出了改进的近决方案。首先采用基于帧差法的背景模型建立方法建立背景模型并且提取运动人体轮廓，然后通过有权值的多重三帧帧间差分法获得另外一个运动人体轮廓图像，最后结合两种方法的优点得到完整的运动人体轮廓图像，其中还采用了形态学梯度算法，对图像中的噪声点进行了消除。对运动人体提取过程中经常出现的光照敏感、容易产生空洞、背景中有树叶摇动、图像帧中存在噪声等问题都进行了解决，实验证明改进的方法模型简单，对环境的适应性较强，能够很好的完成一般的复杂背景中的运动人体轮廓提取。

[1] Fleet JBD,S.Beauchemin.Performance of optical flow technique[J].International Journal of Computer Vision,1994,12(1):43-47.

[2] LIN Jia-yi,YU Zhe-zhou.A new moving detection method based on background differencing and coterminous frames differencing[J].Chinese Journal of Scientific Intrument,2008.4(1):5-9.

[3]叶锋,范曼曼.一种改进的基于平均背景模型的运动目标检测算法[J].福建师范大学学报,2011(7):44-49.

YE Feng,FAN Man-man.An improvement of moving object detection algorithm based on average background model[J].Journal of Fujian Normal University,2011(7):44-49.

[4] 唐俐,龙熙华.运动目标检测的三帧差分和背景消减研究[J].科技信息,2008(28):417.

LI Tang,LONG Xi-hua, Moving target detection background reduction studies[J].Scinse & Technology Information,2008(28):417.

[5] Rafael C.冈瑟雷斯,Richare E.Woods著.数字图像处理[M].北京:电子工业出版社,2003.

[6] 余莉,基于数学形态学的目标检测[D].长沙:国防科技大学,2005.

[8] 甘明刚,陈杰.一种基于三帧差分法和边缘信息的运动目标检测方法[J].电子与信息学报,2010,32(4):894-897.

GAN Ming-gang,CHEN Jie.Moving object detection algorithm based on three-frame-differencing and edge information[J].Journal of Electronics & Information Technology,2010,32(4):894-897.

[9] 周丽,朱虹.基于二重差分法的光流场运动检测[J].计算机仿真,2009,26(12):168-171.

ZHOU Li,ZHU Hong.Optical flow calculation based on dual subtraction for motion detection[J].Computer Simulation,2009,26(12):168-171.

[10] 杨莉,李玉山.复杂背景下的多运动目标轮廓检测[J].电子与信息学报,2005,27(2):306-309.

YANG Li,LI Yu-shan.Detection contours of multiple moving objects with complex background[J].Journal of Electronics &Information Technology,2005,27(2):306-309.

[11] 刘鑫,刘辉,强镇平,等.混合高斯模型和帧间差分相融合的自适应背景模型[J].中国图像图形学报,2008,13(4):729-734.

LIU Xin,LIU Hui,QIANG Zhen-ping.A daptive background modeling based on mixture Gaussian model and frame subtraction[J].Journal of Image and Graphics, 2008,13(4):729-734.

Analysis and improvement of human movement detection algorithm

ZHANG Ying, LIAN Xu
（Liaoning University of Science and Technology,Anshan 114051,China）

In human motion analysis of video sequences, segmenting the motion human body in real-time is the key step. In order to overcome the influence of uneven illumination, low movement of objects in the foreground, swing leaves in the background and other factors to detection, a moving object detection algorithm based on background and the weights multiple interframe difference is presented. At first, background model is obtained by the method based on frame difference. Then, the moving object is extracted with background subtraction and multi-frame-differencing,which is insensitivity to the target object’s speed and environment disturbance. Finally, morphological gradient operation is applied to remove the influence of outside noise. Experiment results show that the proposed algorithm has a strong ability to adapt the environment and is an effective detection method for moving the human body.

moving object detection; background modeling; weights multiple interframe difference; morphological gradient

TP391.4

A

1674-6236(2014)14-0123-05

2013–06–26 稿件编号：201309065

国家自然科学基金项目(60874017)

张 颖(1968—)，女，辽宁鞍山人，博士，教授。研究方向：图像处理、模式识别、信号处理等。

book=0,ebook=479