韩晓微, 岳高峰, 谢英红

(沈阳大学 信息工程学院, 辽宁 沈阳 110044)

随着人工智能技术的进步,计算机视觉技术也得到了迅速的发展.对存在干扰噪声的视频信息处理是目前的热门研究,视频中前景运动目标的识别和跟踪已经广泛应用于各个领域[1].视频内容分析涵盖目标检测、目标识别、行为判断、场景理解等内容[2],其中运动目标检测作为视频内容分析的基础和前提,多年来受到研究者的广泛关注.

帧差法[3]是最常用的运动目标检测和分割方法之一,算法的不足在于对于比较大的、颜色一致的运动目标,检测算法中的空洞问题将会严重影响运动目标的识别.背景差法[4]是运动检测中最常用的一种方法,它将输入图像与背景图像进行比较,直接根据灰度等统计信息的变化来分割运动目标.目标跟踪可以解释为对视频序列的每帧图像进行分析和处理,从中可以找到目标的比例[4]、颜色[5]、形状[6]、模式[7]等信息,并通过前后帧图像之间的关系计算出目标的轨迹[8].目前,在实际应用中主要的跟踪算法有凸轮移位[9]、卡尔曼滤波[10]、粒子滤波[11]、支持向量机[12]等.然而,由于目标跟踪过程中存在遮挡、阴影、尺度变化等问题,传统的目标跟踪算法只能处理特定的问题,而且只能在短期内实现良好的跟踪效果,TLD是Kalal提出的一种有效的长期跟踪算法[13].该算法将传统的跟踪算法和检测算法相结合,解决了跟踪过程中遇到的局部遮挡和变形问题,当跟踪器无法跟踪时,探测器可以再次检测到目标,使跟踪器从丢失状态中恢复跟踪.CamShift[14]算法基本思想是对视频图像的所有帧作MeanShift运算,CamShift算法受到越来越多的关注,这种算法精度较高,容易实现,但是其对光线变化较为敏感,对于遮挡问题也没有良好的表现.鲁棒性也是很多学者研究的方向,提高算法的鲁棒性和实时性,是目标跟踪技术的关键问题.而如何有效、快速抽取出监控视频中的前景目标信息,是非常重要而基础的问题,在存在背景干扰以及相机晃动的情况下运动前景目标的检测也是目前研究的热门问题[15].

本文采用基于时域分析的多均值前景目标的提取方法,首先考虑时间域上视频的形成,将图片中的区域划分为变化区域和运动区域,使用时域分析的多均值前景目标的提取方法,使用闭运算策略对提取的前景目标进一步优化,采用高斯去噪的方法来消除背景的噪声,设计梯度分量的目标精确跟踪算法,从而达到稳定的跟踪效果.基于时域和梯度的目标识别跟踪算法是本文着重研究的内容.

1 识别算法设计

首先构造提取前景目标(例如人、车、动物等)的数学模型,并对该模型设计有效的求解方法.固定场景中,连续图像间的差异直接反映了视频中的运动信息,所以大部分算法基于相邻2帧图像之间的差异计算运动显著图,另一方面,时空滤波代表着另一类运动显著性检测方法,本文将通过时域分析突出场景中的运动目标,算法本质是基于帧差法的,但与其不同的是,融入了经典算法中迭代的思想,也就意味着本文算法并不依赖于局部的条件,而是在时间域和全局上进行本质分析及优化,提出了改进算法,优化了帧差法识别精度较差的问题.

首先做如下定义:相邻2帧图像之间的变化区域定义为R,场景中的运动目标区域定义为S.如图1所示,可以得到运动目标合集为连续2帧图像之间的变化区域的子集,即Rt,t-1⊇St∪St-1,其中St与St-1分别表示t时刻与t-1 时刻输入图像中的运动目标区域,Rt,t-1表示t时刻与t-1 时刻输入图像之间的变化区域;连续2个变化区域的交集为当前时刻场景中的运动目标,即St=Rt,t-1∩Rt,t+1如图1所示.

图1运动目标检测原理图
Fig.1Trinciplediagramofmovingtargetdetection

式(2)中GS(x,y)为均值滤波处理完的图像,FS(x,y)为包含运动目标的图像,m为该模板中包含当前像素在内的像素总个数,图2为识别算法对3组视频的测试结果.

噪声的干扰是图像领域不可避免的问题,在各种计算机视觉运用中有着重要的意义.针对复杂场景图像噪声大的情况,对于算法进行必要的滤波是非常重要的,常用的方法难以解决噪声去除与边缘模糊的矛盾,针对图像边缘和平滑区域像素值的离散程度,进行了算法优化设计,采用了可以自适应调节模板大小和方差的高斯滤波器,将其作为滤波算法的内核,在处理后的结果上,进行形态学闭运算操作,为了达到良好的效果,对上述方法进行局部迭代优化,结果表明,该算法能取得较好的去噪效果,如图3所示.

图2 3组视频的测试结果Fig.2 Testing results of three videos

图3识别算法效果
Fig.3Effectofrecognitionalgorithm

2 跟踪算法设计

面对跟踪场景复杂的情况,保证跟踪任务的精确性和实时性成为当下亟待解决的问题,监控摄像头发生晃动或偏移时,视频也会发生短暂的抖动现象,如果设计的算法对这种现象的目标跟踪有良好的跟踪性能,那证明算法在性能方面有着良好的普适性.

背景和前景的最大区别在于,前景在时间序列上进行的是某一方向的轨迹运动,而背景则为一定区域的晃动,针对这个特征,提出使用基于梯度分量的前景目标检测方法.首先使用九宫格的提取方法,为简化计算,在第1帧图像中,选取O(0,0)点作为基准点,对九宫格的灰度值进行平均化处理,将平均值赋值给九宫格中心点,记为P1点,在第2帧图像中搜寻相同九宫格,满足6个格即视为找到目标.再用同样的提取方法处理抖动后的第2帧图像,中心点记为P2,连接OP1和OP2作为2个向量,对OP1和OP2作向量减法形成新的向量P1,2,建立坐标系求出的水平偏移量tx和垂直偏移量ty(式(3)、式(4)),如图4所示.

f(x,y+1)+f(x+1,y-1)+f(x+1,y)+f(x+1,y+1)],

(3)

(4)

式中:i表示第几帧图;P代表某点坐标;f(x,y)代表某一点的像素值.

图4 梯度化原理图Fig.4 Gradient schematic diagram

仿射变换是进行稳像的重要手段,技术比较成熟,基本原理为

(5)

通过以上处理后,可得到式中的几个参数,对每一帧图像进行处理,可以发现相机抖动问题转化为近似静态背景提取前景目标问题,但这并不是完整的静态背景,针对这种近似静态背景提取前景目标问题,通过最小梯度方法,将每张图像中的运动目标选取出来,选取一定数量的图片,对每张图片选取的向量点进行提取,在图像上显示为前景目标的轮廓,如图5所示,至此,经过上述处理,可以实时得到目标的运动状态及方向.

(6)

图5 前景目标提取原理图Fig.5 Principle of foreground object extraction

使用MATLAB对上述算法进行编程,由图6可以看出,在没有前景目标的前提下,背景中不含噪声点,效果较好,图7为有前景目标的情况运行图,该视频为晃动情况下拍摄,结果表明存在一定扰动情况下,本算法对前景目标提取有着明显的效果,可以完整地将所有运动目标选出.

图6 背景提取图Fig.6 Background extraction

图7前景提取图
Fig.7Foregroundextraction

3 实验验证

3.1 实验环境

本文所使用的摄像头为海康威视DS-2CD4032FWD-SDI相机,支持实时视频输出分辨率为HDTV1080p(符合SMPTE274M标准)和HDTV720p(符合SMPTE296M标准),图像处理环境为深度学习服务器,运算系统环境为Ubuntu 14.04,编程语言为Python.

3.2 实验结果

为了验证本文所设计的算法,分别进行了夜晚、白天、相机晃动、目标高速移动4组实验场景,每种场景选择6帧图片作为展示,夜晚与白天场景可以验证算法对光照情况的敏感性;相机晃动场景下的跟踪是对算法鲁棒性的检验;对于目标跟踪而言,准确性是必要的,但是在满足准确性的同时如果可以保证实时性,这样算法才有实际意义,故文本特别设计了一组在高速路上的目标跟踪实验,用来检验算法实时性,实验结果如图8所示.

图8 实际跟踪图Fig.8 Actual tracking picture(a)—夜晚; (b)—白天; (c)—相机晃动; (d)—目标高速移动.

从图8可以看出,本文所设计的算法在多种场景下的跟踪效果良好,跟踪稳定,具有一定的鲁棒性,对于存在光照变化、部分遮挡以及噪声干扰的情况都能够实现稳定识别和跟踪,算法实时性较好,不易发生跟踪目标丢失的情况.

3.3 误差分析

取成功率为跟踪成功的帧数和视频总帧数之比,算法耗时为每2帧之间求和的平均值,比CamShift算法成功率增加了18.3%,比TLD和CamShift算法,在耗时上分别降低12.6%和22.7%,如表1所示.

表1 算法跟踪性能比较

4 结 论

本文认真分析了当下主流的目标跟踪算法,并对目标的运动做了本质研究,针对现有算法在提取前景目标上复杂度过高及不易实现的问题,提出了一种新型的基于时域和梯度的目标识别跟踪算法,实验结果表明,本文算法可以稳定地跟踪目标,对一些较为复杂的场景也具有适用性,在保证成功率的基础上,相比TLD、Camshift算法,在耗时上分别降低12.6%、22.7%.但是本文算法在存在大面积干扰时容易出现误差,这也是后续进一步研究的工作.