曹 毓，冯 莹，魏立安，雷 兵，王彦辉

(国防科技大学光电科学与工程学院，长沙 410073)

相机拍摄到的图像是世界坐标系下的3维景物在2维像平面上的投影，该过程在数学上是一个透视映射过程，其逆过程称为逆透视映射(Inverse Perspective Mapping，IPM)。IPM技术广泛应用于车辆自主驾驶、自动泊车、机器人导航及路面信息勘测等领域［1－15］。但是现有的IPM方法均假定相机姿态是恒定的。车辆行进中的颠簸难免使得相机姿态发生变化，由此导致现有方法在此情况下获得的路面俯视图存在着较大误差。

本文针对相机动态条件下的IPM问题展开研究。介绍了使用姿态传感器实时测量相机姿态的方法，利用相机姿态角数据计算出相机相对路面的逆透视映射关系矩阵，从而获得了高精度路面俯视图。室内静态实验证明:在相机任意姿态下该方法均可获得较高的IPM精度。随后的动态实验验证了相机的姿态变化对图像IPM结果的影响，并给出了路面图像的拼接结果。本文提出的方法可在存在一定颠簸的路面上获取高精度的大范围路面图像信息，可应用于机场跑道的异物检测及公路路面病害快速勘测等领域。

1 基于相机姿态实时测量的IPM算法

由摄像测量学基本原理［16］，可以建立世界坐标系中一物点Q(Xw，Yw，Zw)坐标与其像点q(u，v)像素坐标的关系如下:

式中:u0，v0为图像的中心点像素坐标，ZC为归一化系数，dx，dy分别为传感器水平和垂直方向的像元物理尺寸，f为镜头焦距，ax=f/dx，ay=f/dy，0T=(0，0，0)为零矢量。矢量t给出了像机坐标系与世界坐标系原点间的相对位置关系，矩阵R给出了像机坐标系与世界坐标系坐标轴间的姿态关系，称为相机旋转矩阵。MI称为内参数矩阵。MO称为像机外部参数矩阵。M称为投影矩阵。

相机一旦给定其内参数矩阵MI便已确定。不妨将像机坐标系与世界坐标系原点重合，则外参数矩阵MO中只需考虑旋转矩阵R的影响。本文采用的姿态传感器坐标轴定义如图1所示，约定欧拉角旋转次序为X－Y－Z。

图1 姿态传感器及其坐标系约定

令世界坐标系为XG，相机坐标系为XS，有XG=RGSXS，则有:

其中:

其中的三个角φ，θ，ψ分别被定义为相机的横滚角、俯仰角和航向角。

传统的IPM方法均假设RGS是固定的，这样做虽可以简化算法，但是车辆行驶过程中相机姿态难免会发生变化，由此导致现有IPM算法此时出现较大误差。为此，我们采用了姿态传感器监控相机姿态，实时解算出对应时刻下的RGS矩阵并用于图像的IPM变换中。

在获得投影矩阵M后，可按下述步骤实施图像的IPM变换:

(1)确定世界坐标系下路面的待变换区域A并指定分辨率，将区域A按照分辨率划分成若干正方形网格，如图2所示。例如选择路面上1 m×1 m的区域实施IPM变换，指定分辨率为1 cm，则该区域被划分为100×100的网格，在世界坐标系下一个网格对应的路面面积为1 cm2，而每个正方形网格对应IPM变换后图像中一个像素，IPM变换后图像分辨率为100像素×100像素。

图2 路面点与像平面点映射关系示意图

(2)对世界坐标系下每一个正方形网格的中心点坐标P(Xw，Yw，－h)，利用式(1)计算出对应图像坐标系下的图像坐标p(u，v)。

(3)依据图像坐标值p(u，v)对IPM变换后的图像逐像素赋予灰度值。获取的图像像素坐标p(u，v)可能并非为整数，甚至可能为负值。对于坐标计算结果超出图像平面像素范围的，说明对应的路面网格不在相机视场内，如图2中的点Q所示，应对IPM变换后的图像中该网格点对应位置赋予灰度值0，即黑色。对于图像坐标值计算结果为小数的，可采取临近插值法或双线性插值法获得其灰度值。双线性插值法精度稍高，但临近插值法耗时更少，实际应用中二者可权衡采用。

在实施以上三个步骤后即可得到路面俯视图。

2 实验验证

2.1 静态实验验证IPM精度

将相机和姿态传感器固定在同一平台并倾斜向下架设，如图3所示。

图3 实验装置图

准确测量出相机的架设高度、姿态角等参数。在地面铺设边长96 cm的点阵模板，对相机拍摄到的包含透视效果的模板图像，根据姿态传感器测得的相机姿态角，使用本文方法实施IPM变换;通过测量IPM变换后图像中的模板变形量来定量验证本文IPM方法的精度。实验选用Point Grey公司的Flea2－14S3相机来获取图像，相机镜头视场角为69.4°×52.05°，焦距为4.8 mm。选用Xsens公司的MTI姿态参考系统来测量相机的姿态角，其静态测角精度为0.3°。由于使用了广角镜头，在实施IPM变换前，需要对图像实施畸变校正。图4给出了相机姿态角不同的两组实验的IPM前后图像对比结果。图像1和2为相机拍摄的原始图像，3和4为对应的IPM结果。选择地面上2 m×2 m的逆透视映射范围，分辨率设定为4 mm，因此IPM变换后的图像分辨率为500像素×500像素，模板在图像中的尺寸应为240像素×240像素。

图4 实施IPM变换前后的图像对比

为定量检验逆透视映射结果的精度，我们利用National Instrument公司的视觉助手(Vision Assistant)软件，分别测量了图像3和4中正方形网格模板ABCD的四个边长和四角的角度值，两组实验的详细结果数据如表1所示。由旋转矩阵RGS的表达式发现，相机航向角的变化只会影响IPM变换结果图像的整体旋转量。在图像拼接应用中，图像的旋转是可以很容易校正的，不会对最终拼图结果造成影响，因此表中并未给出航向角的值。

表1 IPM变换后模板参数测量结果

表1中可见，在两组实验得到的映射图像中，正方形ABCD的四个边长与实际长度相比，最大误差0.8%;模板四个角的角度最大误差为0.5°。因此，在相机不同姿态的情况下，本文算法的IPM精度均较高。产生误差的原因主要有三点:一是姿态传感器本身有测角误差;二是对相机高度等参数的测量有误差;三是在图像中人工量取方式获得的模板尺寸数据引入了误差。

2.2 动态实验验证图像拼接效果

为进一步验证本文IPM算法在实际应用中的表现，选择了一块约20 m×80 m范围的平坦场地进行实验，为了模拟车辆颠簸的情况，人为的在路面设置了若干障碍物，如图5所示。使用星网宇达公司的姿态测量系统(型号:ADU7600)实时监测相机姿态变化，其动态测量精度为0.2°，坐标系约定与MTI相同。为拍摄到大范围的路面场景，相机架设高度3.6 m。图6给出了传感器联合架设示意图。图中姿态测量系统水平放置，相机为了拍摄路面，相对于姿态测量系统有固定的35°俯角偏置。图7为相机实验中拍摄的其中一幅路面透视图像。车辆静止时，记录下由姿态传感器读出的传感器安装平台倾角为:俯仰0.45°，横滚－1.31°。车辆行进时，相机以6帧/s的帧频采集图像，同时姿态传感器实时同步记录相机姿态数据，图8给出了由姿态传感器记录到的传感器平台实时倾角变化曲线。从图中发现，由于车辆颠簸的影响，俯仰角和横滚角均经历了幅度约3°的波动。

图5 实验场景图

图6 传感器联合架设示意图

图7 相机拍摄的一幅路面图像

图8 传感器平台实时倾角变化曲线

首先不考虑相机姿态变化，使用车辆静止时的相机初始姿态角对所有图像实施了IPM变换。图9为图7经未施加姿态校正的IPM变换后的结果。随后，根据相机在获得每幅图像时由姿态传感器同步获取的相机姿态信息再次对图像进行了IPM变换。为了准确获得相机拍摄时刻对应的姿态信息，需要相机和姿态传感器实现精确的同步。图10为图7经施加姿态校正的IPM变换后的结果，从地面砖缝的平行度容易判断，其IPM校正效果明显好于图9。

图9 施加角度校正前的图像IPM结果

图10 施加角度校正后的图像IPM结果

图11给出了由未施加相机姿态校正的IPM变换后图像拼接得到的实验场地全局图，图像拼接使用Microsoft公司开发的现有成熟商业软件Image Composite Editor(ICE)完成。从图中可见，原本直线度良好的路面砖块条纹出现了扭曲变形，这是由IPM变换误差导致的。图12给出了由施加了相机姿态校正的IPM变换后图像拼接得到的实验场地全局图。从图中可见，原本成直线的路面砖块条纹信息得到了真实准确的还原。

图11 未考虑相机姿态变化的图像拼接结果

图12 考虑了相机姿态变化后的图像拼接结果

3 结论

本文分析了一种应用于路面图像拼接的动态图像IPM方法。实验结果表明，在车辆出现颠簸的情况下，实施相机姿态校正后获得的图像IPM结果明显优于未施加姿态校正的IPM结果。由本文方法获得的路面俯视图拼接出的路面图像准确恢复出了实际的道路特征。该方法实施简便，环境适应性强，图像拼接质量高且失真小，可用于自主泊车、机场跑道异物检测及公路路面病害勘测等领域。

［1］郑榜贵，田炳香，段建民.基于Kalman预测及逆投影的车道识别技术［J］.计算机工程与设计，2009，30(6):1548－1554.

［2］袁启平，宋金泽，吴涛.基于逆透视映射的图像拼接方法［J］.微计算机信息，2010，26(7－3):208－210.

［3］Massimo Bertozzi，Alberto Broggi，GOLD:A Parallel Real-Time Stereo Vision System for Generic Obstacle and Lane Detection［J］.IEEE Transactions on Image Processing，1998，7(1):62－81.

［4］Massimo Bertozzi，Alberto Broggi，Alessandra Fascioli.Stereo Inverse Perspective Mapping:Theory and Applications［J］.Image and Vision Computing，1998，16:585－590.

［5］高德芝，郑榜贵，段建民.基于逆透视变换的智能车辆定位技术［J］.计算机测量与控制，2009，17(9):1810－1812.

［6］付梦印，李博，王美玲.一种基于逆投影变换的智能车道路识别方法［J］.光学技术，2008，34(3):368－371.

［7］曹毓，冯莹，杨云涛，等.基于灭点查找的姿态角测量方法在路面三维重建中的应用［J］.传感技术学报，2011，24(7):1081－1086.

［8］江泽民，杨毅，付梦印.基于平行线的室内视觉导航［J］.机器人，2007，29(2):128－132.

［9］戴斌，裘伟.逆透视投影下车道偏离时间的在线估计［J］.计算机工程与应用，2007，43(16):235－238.

［10］郭磊，徐友春，李克强，等.基于单目视觉的实时测距方法研究［J］.中国图像图形学报，2006，11(1):74－81.

［11］郭磊.基于定向二维插值的逆投影变换方法［J］.清华大学学报(自然科学版)，2006，46(5):712－715.

［12］Sovira Tan，Jason L.Dale，Andrew Anderson，et al.Inverse Perspective Mapping and Optic Flow:A Calibration Method and a Quantitative A-nalysis［J］.Image and Vision Computing，2006，(24):153－165.

［13］SHU Y，Tan A.Vision Based Lane Detection in Autonomous Vehicle［J］.Proceedings of the 5th world Congress on Intelligent Control and Automation.2004，Hangzhou，P.R.China.

［14］邓剑文，安向京，贺汉根.基于道路结构特征的自主车视觉导航［J］.吉林大学学报，2004，22(4):415－419.

［15］徐友春.基于机器视觉的汽车主动安全技术的研究［D］.北京:清华大学，2003.

［16］于起峰，尚洋.摄像测量学原理与应用研究［M］.科学出版社，2009，25－34.