许宇能朱西产马志雄李霖

（同济大学）

基于单目摄像头的车辆前方道路三维重建

许宇能朱西产马志雄李霖

（同济大学）

通过构建6自由度车载单目摄像头测距模型，实现了摄像头任意方位变换下车辆前方道路信息的三维重建。同时考虑摄像头的5个畸变参数，可消除由于畸变引起的测距误差。提出一种基于地平线位置的标定方法，在非车载情况下完成了对摄像头的标定，给出了一种利用道路消失点计算道路坡度和车辆偏航角的方法。试验结果表明，所提测距模型和标定方法具有良好的精度和可操作性。

1 前言

基于单目摄像头的前方车辆三维位置估算被广泛应用于驾驶辅助系统开发中。2003年Mobileye提出一种基于单目摄像头的ACC算法，介绍了单目测距的基本原理[1]，并着重讨论了图像几何参数对测距和测速精度的影响。2005年Daniel Ponsa研究了地平线位置与车辆实际宽度间的耦合关系[2]，降低了前方车辆三维位置预估的不确定性，给出了无畸变情况下摄像头坐标系与世界坐标系之间的关系。2006年郭磊等人采用几何关系推导法得到路面坐标系和图像坐标系之间的关系[3]，模型中考虑车辆俯仰角，但不考虑畸变。2010年Jianzhu Cui在FCW算法的研究中利用消失点（vanish point）对摄像头进行标定[4]，利用交比不变性计算本车与前车间的距离，但未考虑车辆俯仰运动对测距的影响。

本文在标定法[5]基础上，构建了一个考虑摄像头畸变和车辆俯仰运动等参数的测距模型，消除了摄像头畸变和车辆俯仰运动等对测距的影响；提出一种基于地平线位置的标定方法，使标定过程更具灵活性和简便性；给出了一种利用道路消失点计算道路坡度和车辆偏航角的方法。最后，利用试验对测距模型进行了验证。

2 测距模型的建立与标定

2.1 理想针孔模型和畸变针孔模型

图1是理想针孔模型示意图，摄像头坐标系XcYcZc和世界坐标系（即车辆坐标系）XwYwZw都服从右手坐标系定则。

世界坐标系下P点坐标[Xw，Yw，Zw]通过下列理想针孔模型计算，可得到像平面投影P点坐标[xp，yp]：

式中，R、T分别为旋转矩阵和平移向量。

世界坐标系下点[Xw，Yw，Zw，1]′经过R、T变换后，得到摄像头坐标系下坐标[Xc，Yc，Zc]′，[Xc，Yc，Zc]′经过尺度系数s[6]和内参数矩阵KK的投影变换后，得到像平面坐标系下的点坐标[xp，yp，1]′。然而，现实中摄像头并不是理想针孔模型，常带有不同程度的畸变，对于远离图像中心的区域，测距误差很大，如图2所示。

为此，对式（1）进行下面的替换，得到考虑畸变的像平面上投影点坐标[xp_d，yp_d，1]′：

由式（2）～式（8）可知，为了确定畸变后像平面中投影点位置，需要知道的参数有摄像头内参数矩阵KK、畸变参数kc（1）～kc（5）和外参数矩阵R、T。其中，KK和kc（1）～kc（5）是固有属性，不随摄像头位置变化而变化，因此，本文使用文献[7]中的标定工具箱对KK和kc（1）～kc（5）进行标定。而外参数会随摄像头位置的变化而变化，假设摄像头如图3所示水平安装，则外参数为[ψ，φ，θ]=[-pi/2，0，0]，T= [0，camera_H，0]′，摄像头安装离地高度camera_H由实际测出。

2.2 6自由度变换测距模型

若图像车辆接地点位置已知，可通过上述畸变针孔模型求解出世界坐标系下相应坐标，此时有唯一解的前提是点位于地平面上，即世界坐标为[Xw，Yw，0]′。但是，车辆在行驶过程中会产生俯仰、侧倾等运动，摄像头外参数会受到影响，为此，在畸变模型基础上对式（5）进行下面的替换，式（2）～式（4）和式（6）～式（8）保持不变，得到考虑畸变和车辆运动补偿后的像平面上投影点坐标[xp_d，yp_d，1]′：

由式（9）可知，需要知道的2个附加变量是ΔR、ΔT。对于单目摄像头测距，车辆俯仰对测距影响最大，其它5个自由度对测距的影响较小，可以选择忽略，因此设[Δψ、Δφ、Δθ]=[Δψ、0、0]，ΔT=[0、0、0]′，Δψ为车辆实时俯仰角，可以从车辆传感器或通过车辆自运动参数估计获得[8]。

2.3 基于地平线位置的标定

若摄像头并非如图1所示水平安装，而是在俯仰方向存在一定安装夹角，图像中实际地平线位置会偏离标定所得的图像中心点位置，可以通过式（11）计算得到该俯仰角的安装角度：

式中，fy为像平面y方向的焦距；其它变量含义如图4所示。

3 道路坡度和车辆偏航角计算

假设车辆在直道上平稳行驶，不产生俯仰运动，图4中实际地平线位置与标定所得图像中心点位置的y向偏移量由道路坡度引起，式（11）的计算值即为道路坡度；而x向偏移量由车辆偏航角引起，可以通过式（12）计算车辆偏航角。

式中，fx为像平面x方向的焦距。

4 模型验证及参数灵敏度分析

4.1 测距模型验证

在车辆前方绘制用于验证的单位坐标点，如图5a中的黑色网格点表示实际地平面上尺寸为2 m×2 m的单位坐标点，是实际投影位置。通过所建立的6自由度变换测距模型，将世界坐标系下的单位坐标点投影到图像中，如图5a中的白色网格点表示世界坐标系下Zw=0地平面上尺寸为0.5 m×0.5 m的单位坐标点，是计算投影位置。

然后，调整6自由度测距模型中的Δψ参数，使白色网格地平线与实际地平线位置重合，完成摄像头安装俯仰角的标定。随机选取黑色网格点的一行一列作为验证试验中的测距坐标点，在这些坐标点位置处测量距离与实际距离的结果如表1所列。由表1可知，在消除摄像头畸变后，纵向和侧向的测距误差在5%以内。

表1 测距模型的测量距离与实际距离对比

4.2 道路坡度计算验证

本文使用10幅标定横盘如图6所示。通过标定法[7]得到的外参数ψ作为棋盘实际坡度值，式（11）方法得到的坡度值作为棋盘计算坡度值，结果如表2所列。

从表2数据可知，除了第1、2个视角由于本身实际角度值很小而造成的误差百分比较大外，第3～10个视角的计算坡度与实际坡度误差在10%以内。

4.3 真实交通场景前方道路三维重建

将测距模型应用于真实交通场景的测距中，由于纵向和侧向距离在真实交通场景中没有已知的参照标准，本文通过对不同位置处不同类型的车辆进行几何尺寸测量，间接对测距模型进行验证。

模型中测量的车辆三维尺寸有车辆的距离、宽度和高度。车辆距离按照文中所提测距模型测出，宽度通过计算车辆尾部矩形底部两角点侧向距离之差得到，高度则通过式（14）求出。

表210 幅标定图像的实际坡度值与计算坡度值对比

式中，D为本车与前车的纵向距离；h为车辆在像平面的像素高度；fy为像平面y方向的焦距。

测量得到的车辆三维尺寸结果如图7所示，图中轿车的实际尺寸(宽度×高度)约为1.71 m×1.47 m，卡车的实际尺寸约为2.47 m×2.58 m，测量尺寸与实际尺寸的误差在10%以内。

4.4 参数灵敏度分析

由于在车辆行驶过程中摄像头俯仰角、侧倾角和高度3个参数容易产生变化，本文统计了这3个参数对车前纵向距离约30 m和侧向距离约2 m位置处的测距影响。统计结果如表3所示，由表3可知，俯仰角每变化0.1°，纵向距离变化1.2～2.5 m，侧向距离变化0.08～0.17 m；侧倾角每变化1°，纵向距离变化0.48～0.76 m，侧向距离变化0.05～0.07 m；高度每变化50 mm，纵向距离变化约1.1 m，侧向距离变化约0.08 m。

综上所述，摄像头俯仰角、侧倾角和高度3个参数对侧向测距的影响较小，可以忽略；而对于纵向距离，俯仰角的影响最大，高度次之，最后是侧倾角。在轿车行驶过程中，摄像头侧倾角和高度变化相对较小，而俯仰角可达±2°，说明俯仰角是影响纵向测距的主要因素。

表3 俯仰角、侧倾角、高度对测距的灵敏度分析

5 结束语

通过建立一个6自由度的摄像头测距模型，实现了摄像头任意方位变换下前方道路的三维重建。该模型通过网格化形式显示道路坐标点，使道路平面的纵向尺寸、侧向尺寸和畸变情况直观显示。

在测距模型中考虑了摄像头畸变和车辆俯仰角，使测距精度得到提高。对测距结果试验验证结果表明，当摄像头高度为80mm时，像素误差在1.2%以内；当摄像头高度为1.3m时，测距误差在5%以内。

将文中所提出的模型用于真实交通场景中进行车前道路的三维重建，测量不同位置处不同类型车辆的高度、宽度以及与本车间的距离，测量结果表明，测量的车辆高度和宽度值与实际车辆高度和宽度值误差在10%以内。

对基于地平线计算车辆俯仰角的方法进行推广，给出了利用道路消失点计算道路坡度和车辆偏航角的方法。

1Stein G P，Mano O，Shashua A.Vision-based ACC with a single camera:bounds on range and range rate accuracy: Intelligent Vehicles Symposium，2003.Proceedings.IEEE，2003.

2Ponsa D，Lopez A，Lumbreras F，et al.3D vehicle sensor basedonmonocularvision:IntelligentTransportation Systems，2005.Proceedings.2005 IEEE，2005.

3郭磊，徐友春，李克强，等.基于单目视觉的实时测距方法研究.中国图象图形学报，2006，11（1）:74～81.

4Jianzhu C，Fuqiang L，Zhipeng L，et al.Vehicle localisation using a single camera:Intelligent Vehicles Symposium(IV)， 2010 IEEE，2010.

5ZhengyouZ.Aflexiblenewtechniqueforcamera calibration.Pattern Analysis andMachineIntelligence，IEEE Transactions on，2000，22（11）:1330～1334.

6于仕琪，刘瑞祯等译.学习OpenCV.北京：清华大学出版社，2010：353，421，437.

7Bouguet J.（2004，October）Camera calibration toolbox for matlab.MRL-Intel Corp.vailable:http://www.vision. caltech.edu/bouguetj/calib_doc/.

8Stein G P，Mano O，Shashua A.A robust method for computingvehicleego-motion:IntelligentVehicles Symposium，2000.IV 2000.Proceedings of the IEEE，2000.

（责任编辑帘青）

修改稿收到日期为2013年12月1日。

Three-dimensional Reconstruction of the Road Ahead of Vehicle Based on Mono-vision

Xu Yuneng，Zhu Xichan，Ma Zhixiong，Li Lin
（Tongji University）

A 6-DOF mono-vision based camera ranging model is constructed to achieve the three-dimensional reconstruction of the road ahead of vehicle under arbitrary transformation of the camera.Meanwhile，five distortion parameters of the camera are taken into account to eliminate the ranging error caused by distortion.Then，in order to calibrate the off-board camera，a calibration method based on the location of horizon is proposed，and a method for calculating the road gradient and vehicle yaw angle through the location of road vanishing point is proposed.Experimental results indicate that the ranging model and calibration method are of good accuracy and operability.

Advanced drive assist system,Mono-vision,Ranging,Calibration,Threedimensional reconstruction

先进驾驶辅助系统单目视觉测距标定三维重建

U461.5+1

：A文献标识码：1000-3703（2014）02-0048-05