APP下载

基于双目视觉的障碍物检测算法

2014-11-20覃金飞韦江华

电视技术 2014年5期
关键词:视差双目障碍物

林 川,张 毅,覃金飞,韦江华

(1.广西科技大学a.电气与信息工程学院;b.广西汽车零部件与整车技术重点实验室(广西科技大学),广西柳州545006;2.柳州城市职业学院,广西柳州545002)

随着汽车工业的发展,先进驾驶辅助系统(Advance Driver Assistance Systems,ADAS)已经成为智能交通系统的一个研究热点。障碍物检测作为ADAS的主要任务之一,能够及时识别汽车驾驶的前方危险,增加汽车行驶安全,减少交通事故发生[1-2]。目前,基于计算机视觉的障碍物检测主要分为单目视觉和双目视觉检测,采用单目视觉的方法主要是基于特征和运动并结合模式识别的方法进行检测,但该类方法中提取特征和运动参数估计相对困难,且适应性不强[3-4]。而采用双目视觉技术具有模仿人眼的特点,通过计算视差图获取距离等大量信息。近年来,通过计算U-视差、V-视差的方法在双目视觉的障碍物检测中获得了广泛的关注。文献[5-7]采用基于双目视觉的U-V视差障碍物检测,先在V-视差图中检测出道路相关线,再结合U-视差图对障碍物进行相应的检测,取得了较好的检测效果。但在汽车前方障碍物占图像宽度比例相对较大的情况下,该类方法出现较大的误检测,同时对双目摄像机的倾斜角较为敏感[8],限制了该类方法的应用场合。为了在各种道路场景中更有效和实时地检测障碍物,本文先计算U-视差,并采用双阈值方法移除属于道路视差部分,然后结合原视差图获得移除道路的视差图,再分别计算U-视差和V-视差实现障碍物检测。该方法特别在障碍物占图像宽度比例相对较大的情况下,较同类方法大大降低了误判率,具有良好的检测效果。

1 双目视觉模型

双目视觉系统模型如图1所示,左右摄像机处于同一高度h。其中,P(XW,YW,ZW)T为世界坐标系RW中的任意一点,Ol和OR分别为双目视觉系统左右镜头中心,b为双目摄像机的基线长度,Rcl和Rcr分别为左右摄像机坐标系。设世界坐标系中的P(XW,YW,ZW)T点通过左右摄像机分别投影到左图像平面的Pl(ul,vl)点和右图像平面的Pr(ur,vr)点。摄像机内参数焦距为f,像素尺寸为(Su,Sv),根据摄像机的规格,有Su=Sv=S。经过双目视觉系统极线校正后,有vr=vl=v,设双目视觉系统摄像机光轴与水平面的夹角为θ,投影图像平面的中心点为(uo,vo),并令q=f/s,则有

则视差为

在匹配准则的约束下,对双目图像所有像素点进行立体匹配,可获取浓密视差图。由式(4)可知,在视差图中的灰度值可表征景物与摄像机的距离,其值越大,表示距离越近,反之越远。

图1 双目视觉系统模型

2 障碍物检测

本文的障碍物检测方法分为计算U-视差、障碍物提取和障碍物定位三大步骤,具体实现流程图如图2所示。

2.1 计算U-视差

以D作为最大视差搜索范围,采用基于区域的立体匹配方法获得视差图为I0(i,j,d),其中i和j分别为I0的行和列坐标,d为对应的视差值。针对视差图I0(i,j,d)生成的U-视差图U_I0,其行坐标表示视差级数,列坐标意义不变,U_I0的像素值U_I0(x,y)为统计视差图中第y列具有视差为x的个数,计算式为

图2 实现流程图

式中:m为视差图I的高度,通过上式计算得到的U_I0的宽与I0的宽相同,高为D+1。U_I0图像的实质是将视差图I0中与摄像机距离相同的景物的二维平面信息投影成线段。

2.2 障碍物提取

在高精度立体匹配下,垂直于道路水平面的障碍物,如前方汽车、行人、树木等,由于其在图像的各像素点与摄像机距离相同,则在视差图中同列的视差值d也相同,因此其U_I0中对应部分具有较高的灰度值,而道路面像素点在同一列中的视差值分散,故投影到U_I0中对应部分的灰度值较低,因此在U_I0中设定阈值可以将障碍物和道路区域进行分割,之后在I0中提取障碍物区域。

为获得良好的分割效果,采用双阈值T1和T2(T1>T2)在U_I0中分割,具体算法为:扫描U_I0,若U_I0(x,y)>T1的像素点标记为障碍物类,若U_I0(x,y)<T2的像素点标记为道路类,其余像素点采用近邻法分类,即在同行分别向左与向右搜索已标记为道路或障碍物的像素点,以距离最近作为分类标准,获得道路与障碍物分类后的U-视差图U_I1。在I0中提取障碍物区域的方法为:扫描U_I1,寻找标记为道路的像素U_I1(p,q),将I0中第q列中视差为p的像素值置零,获得已提取障碍物的视差图I1。

2.3 障碍物定位

由U-视差图(V-视差图)的计算原理可知,提取获得的障碍物在U-视差图(V-视差图)中的宽(高)边界即为相应横向(纵向)线段的长度。为准确定位视差图中的障碍物,对视差图I1分别计算U-视差图U_I2和V-视差图V_I。由于存在误匹配的影响,需设置灰度阈值提取U_I2和V_I中的有效线段,并设置距离阈值合并相应线段与舍弃干扰线段。最终定位方法是:以列为单位由左至右顺序扫描V_I,若第n列存在线段,则查找U_I2中第n行中相关线段确定障碍物的数量(U_I2第n行中线段数量)、位置及相应的宽、高边界。该方法的思想是按视差由小至大地逐步查找距离摄像机由远及近的各障碍物。

3 实验结果与分析

为验证算法的有效性,对180组障碍物双目图像在MATLAB7.0下进行了仿真测试。硬件环境为:内存2 Gbyte,主频 2.2 GHz,CPU 为 Intel Pentium Dual- Core T4400。实验中获取的视差图大小为320×150,最大视差搜索范围D=30。由于在障碍物提取步骤中的效果较大程度地影响检测效果,对采用单阈值(12)与本文的双阈值(15,10)方法在U-视差图中提取障碍物进行了测试与统计。定义误判率为:道路像素误判为障碍物像素与障碍物像素误判为道路像素的个数和占图像总像素的比率。本文方法的误判率降低约50%,部分图像组的误判率如表1所示。

表1 误判率对比 %

选取一组双目图像的算法实现过程进行说明,第36组右图及其获取的视差图I0、U-视差图U_I0如图3所示。两种方法的误判结果如图4所示。由白色矩形圈出道路像素误判为障碍物像素,白色空心圆圈出障碍物误判为道路像素。

图3 原图及其视差图、U-视差图效果(截图)

图4 障碍物误判效果对比图(截图)

文献[5-7]的方法主要是通过视差图分别计算V-视差图和U-视差图,采用Hough变换等直线检测方法提取V-视差图中的道路相关线,并将V-视差图上检测出的障碍物相关线投影到道路相关线上,再结合U-视差图提取出的障碍物相关线进行障碍物进行检测。针对汽车前方障碍物占图像宽度比例相对较大的双目图像,如图3a所示,前方除护栏、对向汽车外,树木作为障碍物,其所处位置的宽度几乎占满了整幅图像宽幅,采用文献[5-7]的方法与本文方法对80幅类似图像组进行了仿真实验。以图3a的原图为例的2种方法检测过程和效果对比如图5所示,文献[5-7]的方法在V-视差图的道路与障碍物相关线提取效果、在U-视差图的障碍物相关线提取效果如图5a、图5c所示,本文方法在移除道路视差后的V-视差图、U-视差图的障碍物相关线提取效果如图5b、图5d所示。图5a中白色竖线为提取的障碍物相关线,而白色斜线为道路相关线,显然,提取的道路相关线已经偏离了实际的道路范围,从而导致后续的障碍物检测失败。文献[5-7]的方法与本文方法的最终检测效果如图5e、图5f所示,图中纯黑色部分为检测出的道路,而其他部分为障碍物,误检测部分由白色圆圈出。实验结果表明,在该类图像的检测中,文献[5-7]的方法均出现大量的误检,而本文方法误检较少,检测效果良好。

4 结束语

本文提出一种基于立体视觉的U-视差和V-视差的汽车前方障碍物检测新方法。先计算U-视差提取障碍物后,再在原视差图移除道路部分,通过计算V-视差和U-视差并结合起来实现障碍物的检测。实验结果表明,该方法在各种情况特别是前方障碍物占图像宽度比例相对较大的情况下,误检测率低,检测效果良好。该方法可为ADAS的障碍物分类和跟踪任务提供参考。

图5 检测过程和效果对比图(截图)

[1] ZHAO J,WHITTYM,KATUPITIYA J.Detection of non -flatground surfaces using V -Disparity images[C]//Proc.the 2009 IEEE/RSJ International Conference on Intelligent Robots and Systems.[S.l.]:IEEE Press,2009:4584-4589.

[2] IOANNIS K,LAZAROS N,ANTONIOS G.Supervised traversability learning for robot navigation[C]//Proc.the 12th Annual Conference on Towards Autonomous Robotic Systems.[S.l.]:IEEE Press,2011:289-298.

[3]何少佳,刘子扬,史剑清.基于单目视觉的室内机器人障碍物检测方案[J].计算机应用,2012,32(9):2556-2559.

[4]杨建荣,曲仕茹.基于单目视觉的障碍物检测方法研究[J].计算机仿真,2009,26(2):279-281.

[5] GAO Yuan,AIXiao,RARITY J,et al.Obstacle detection with 3D camera using U-V-Disparity[C]//Proc.2011 7th International Workshop on Systems,Signal Processing and their Applications(WOSSPA).[S.l.]:IEEE Press,2011:239-242.

[6] SACH L T,ATSUTA K,HAMAMOTO K,et al.A robust road profile estimation method for low texture stereo images[C]//Proc.2009 16th IEEE International Conference on Image Processing(ICIP).[S.l.]:IEEE Press,2009:4273-4276.

[7] SOQUET N,AUBERT D,HAUTIERE N.Road segmentation supervised by an extended V-Disparity algorithm for autonomous navigation[C]//Proc.2007 IEEE Intelligent Vehicles Symposium.[S.l.]:IEEE Press,2007:160-165.

[8] SCHAUWECKER K,KLETTE R .A comparative study of two vertical road modeling techniques[C]//Proc.the 2010 International Conference on Computer Vision.[S.l.]:IEEE Press,2011:174-183.

猜你喜欢

视差双目障碍物
基于自适应窗的立体相机视差图优化方法研究
高低翻越
SelTrac®CBTC系统中非通信障碍物的设计和处理
基于双目测距的卡尔曼滤波船舶轨迹跟踪
赶飞机
双目视觉运动目标跟踪定位系统的设计
基于梯度域引导滤波的视差精炼迭代算法
基于分割树的视差图修复算法研究
基于双目视觉图像的长度测量方法
立体视差对瞳孔直径影响的研究