陈 娟, 应 骏, 王 健, 曾 爽

(上海师范大学 信息与机电工程学院 数字社区与智能家居研究中心,上海 200234)

一种基于帧间差与图像分割的运动目标分割方法

陈 娟, 应 骏*, 王 健, 曾 爽

(上海师范大学 信息与机电工程学院 数字社区与智能家居研究中心,上海 200234)

视频图像中对运动目标进行分割是十分有意义的.传统的背景减除法和帧间差法在提取运动目标的时候各有自身难以克服的缺点.基于阈值、边缘、直方图的图像分割一般只适合于静态目标的分割.提出一种结合图像分割(Graph Cuts)和帧间差的新方法进行运动目标分割.帧间差法具有良好的稳健性,而Graph Cuts算法则弥补了帧间差无法获得完整运动信息的缺点.利用帧间差法得到不完整的运动信息对Graph Cuts进行分割约束可以准确、稳定地提取出运动目标.

帧间差法; 图像分割; 运动分割

0 引 言

在视频图像场景中分割出运动物体,这在安全监控、火焰识别、医学图像、人机交互等领域都有重要意义.在视频中对动态目标提取常用的方法有背景减除法、帧间差法、光流法以及基于这几种方法改进或者两两结合的方法;在图像分割中常用的有阈值分割法、基于边缘的分割法、直方图法等.对于运动目标的分割,文献[1]采用马尔科夫随机场的算法以及迭代优化算法,获得最小能量函数对运动目标进行分割.文献[2]在环境复杂,目标移动缓慢,目标本身体积微小的情况下采用基于人工神经网络和聚类的方法对微弱运动进行检测和跟踪,但是神经网络的训练需要花费大量的时间.文献[3]采用动态规划算法来检测和跟踪运动目标.文献[4]和[5]采用背景减除法进行运动目标检测,并在FPGA上实现,其优点是实时性好,缺点是随着场景的不断变化,需要不停更新背景来提高检测的稳健性.本文作者利用帧间差法结合图像分割(Graph Cuts)算法提出一种新的运动目标分割的方法.

1 一种新的运动目标分割的方法

Graph Cuts在抠图时要进行相关的约束,需要给出前景图像的大致位置以及若干前景像素点和若干背景像素点.这些约束通常都是经过人机交互手动完成的.

对于视频中的运动目标往往存在许多帧,手动约束显然不现实.通过帧间差分法可以检测出运动物体的大致轮廓,根据物体轮廓构建一个最小外接矩形作为Graph Cuts分割前景时的约束矩形,矩形边缘内部为前景像素点,矩形边缘外部为背景像素点;取部分点作为种子前景点,取部分点作为种子背景点作为Graph Cuts分割前景时的参考像素点.

1.1 Graph Cuts算法

Graph Cuts是一种十分有用和流行的能量优化算法,20世纪90年代末Boykov等人[6]提出基于Graph Cuts的前景提取,目前在计算视觉领域Graph Cuts普遍应用于前景分割、抠图等.

Graph Cuts在进行图像分割时,需要手动对图像的前景和背景进行标记作为约束.然后根据图形的边界和区域特性定义一个能量函数.通过全局最优使能量函数最小从而对未标记的部分自动分割.图像的能量

E(L)=aR(L)+B(L),

(1)

其中,R(L)为区域项(regional term),B(L)为边界项(boundary term),a是区域项和边界项之间的重要因子,决定它们对能量影响的大小.如果a为0,那么就只考虑边界因素,不考虑区域因素.E(L)表示能量函数,图割的目标就是优化能量函数使其值达到最小[7].区域项

(2)

其中Rp(lp)表示为像素p分配标签lp的惩罚因子.Rp(lp)能量项的值可以通过比较像素p的灰度与给定的目标和前景的灰度直方图来获得.将预定义的种子点作为前景的概率表示为:Pr(Ip|′obj′);将预定义的种子点作为背景的概率表示为:Pr(Ip|′bkg′).分割时希望能量最小,所以惩罚因子R取概率的负对数值,0代表背景,1代表前景则

Rp(1) = -lnPr(Ip|′obj′),

(3)

Rp(0) = -lnPr(Ip|′bkg′).

(4)

由(3)式和(4)式可以看到,当像素p的灰度值属于目标的概率Pr(Ip|′obj′)大于背景Pr(Ip|′bkg′),那么Rp(1)就小于Rp(0),也就是说当像素p更有可能属于目标时,将p归类为目标就会使能量R(L)小.如果全部的像素都被正确划分为目标或者背景,这时候能量就是最小的.边界项

(5)

边界平滑项主要体现分割L的边界属性,其中,p和q为邻域像素,B可以解析为像素p和q之间不连续的惩罚.一般来说如果p和q越相似,那么B越大,如果他们非常不同,那么B就接近于0[6].换句话说,如果两邻域像素差别很小,那么它属于同一个目标或者同一背景的可能性就很大,如果他们的差别很大,那说明这两个像素很有可能处于目标和背景的边缘部分,则被分割开的可能性比较大.所以当两邻域像素差别越大,B越小,即能量越小[8].

1.2 帧间差分

帧间差法是利用两帧图像相减从而得到运动信息.图像中物体位置发生了变化,则该处的像素灰度值也相应变化,而物体位置没有发生变化则该处的像素灰度值基本不变化.由于两帧之间时间间隔短,受光线等外界因素干扰小,帧间差法检测出的前景目标像素点准确,对光线场景的适应能力很强,不会引入较多的噪声点[9].

但是帧间差法往往无法提取出完整的运动目标信息,在运动目标本身灰度值较为均匀且运动速度较慢的情况下,利用帧间差法检测出的一般为运动物体的边缘像素点.

1.3 Graph Cuts与帧间差分相结合的前景分割法

如图1所示,假设图中是一个水平向右运动的矩形的第N帧与第N+1帧,两帧相减后得到的区域可以分为I、II、III三个部分.对于一般灰度值均匀的运动目标,区域III在经过帧间差后的阈值处理会被归纳到非运动部分.这也是帧间差提取目标时发生空洞的原因.而区域I和区域II则被认识是运动的,该部分为运动物体的边缘.因而可以根据区域I和区域II确定运动物体的轮廓.

图1 水平向右运动的矩形框

在定义Graph Cuts抠图约束矩形框的时候,矩形框应该是包含区域I和区域II的最小外接矩形.如果将区域I作为种子目标像素点,区域II作为种子背景像素点,所得到的则是第N帧的运动目标;如果将区域II作为种子目标像素点,区域I作为种子背景像素点,所得到的则是第N+1帧的运动目标.

2 实验结果

不同的帧间间隔所得到的I、II、III区域也不同,帧间间隔越长所获得的种子像素点越多,但是同时外接矩形面积也会越大.表1是720×480的图像,二值化像素阈值设置为90,在不同帧率下的实验结果.

表1 不同帧率下的实验结果

当帧间间隔时间变长,虽然增加了种子像素点但是同样会引入许多错误的种子点,也会扩大了最小外接矩形的面积.对于不同的帧间间隔时间需要设定不同的阈值排除错误种子点的干扰.图2是不同帧率下得到的种子点集合.

图2 不同帧率下得到的种子点

图3和图4分别是本文实验中行人运动的第N帧和第N+1帧.图5是将第N帧与第N+1进行帧间差后再经过阈值处理的结果.图6是根据帧间差得到的运动信息对Graph Cuts进行约束分割后的图像.

图3 第N帧图像

图4 第N+1帧图像

图5 第N+1减去第N帧图像

图6 Graph Cuts进行目标分割图像

2 总 结

本文利用Graph Cuts结合帧间差分的方法对运行目标进行分割.帧间差分无法获得完整的运动信息,但是具有良好的稳健性.利用帧间差分获得的有限运动信息,构建Graph Cuts在目标分割时的约束矩形框和种子前景点以及种子背景点,从而得到运动目标分割的效果.实验证明该方法具有良好的稳健性和准确性.但是Graph Cuts算法较为复杂,降低了目标提取的效率.这是以后有待改进的地方.

[1] Chen G H,Li Y J.Research of adaptive frame difference moving target segmentation based on MRF [C].International Conference on Image & Graphics,Washington,D.C.:IEEE,2013.

[2] Patra J C,Widjaja F,Das A,et al.A fast neural network-based detection and tracking of dim moving targets in FLIR imagery [C].Proceedings 2005 IEEE International Joint Conference on Neural Networks,Montreal:IEEE,2005.

[3] Barniv Y.Dynamic programming solution for detecting dim moving targets [J].IEEE Transactions on Aerospace & Electronic Systems,1985,21(1):144-156.

[4] Sanchez-Ferreira C,Mori J Y,Llanos C H.Back ground subtraction algorithm for moving object detection in FPGA [J].Middle East Journal of Scientific Research,2014,20(2):198-204.

[5] Hu G,Lian H,Wang P.Design and research on the motion target detection and tracking algorithm [C].International Conference on Information Science & Engineering,2010,2:1114-1117.

[6] Boykov Y Y,Jolly M.Interactive graph cuts for optimal boundary and region segmentation of objects in N-D images [C].Proceedings of eighth IEEE international conference on computer vision,2001,1:105-112.

[7] Ramya R,Jayanthi K B.Automatic image segmentation by graph cuts for bio-medical applications [C].International Conference on Advances in Engineering Science & Management,Nagapattinam:IEEE,2012.

[8] V K,R.Z.What energy functions can be minimized via graph cuts? [J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2002,26(2):147-159.

[9] Liu H,Hou X.Moving detection research of background frame difference based on gaussian model [C].International Conference on Computer Science & Service System,Nanjing:IEEE,2012.

(责任编辑：包震宇)

A method of moving object segmentation based oninter frame difference and Graph Cuts

Chen Juan, Ying Jun*, Wang Jian, Zeng Shuang

(Digital Community and Smart Home Research Center, College of Information Mechanical and Electrical Engineering,Shanghai Normal University,Shanghai 200234,China)

Motion segmentation is meaningful video processing.Traditional method like background subtraction and frame difference shortcomings.Image segmentation based on threshold,EDGE histogram only used for static object segmentation.Frame difference method has good robutness and Graph Cuts can get complete motion.Segmentation of Graph Cuts is restricted by incomplete motion information provided by frame moving object can be extract accurately and stably.

frame difference; Graph Cuts; motion segmentation

2015-11-02

陈 娟(1993-),女,硕士研究生,主要从事图像处理方面的研究.E-mail:jchen@shmiic.com

导师简介: 应 骏(1973-),男,讲师,主要从事图像处理、嵌入式系统方面的研究.E-mail:junying@shnu.edu.cn

TN 919.8

A

1000-5137(2017)02-0242-05

*通信作者