唐智威TANG Zhi-wei（格拉斯哥大学 工程学院，格拉斯哥 G11 6QQ）

基于视觉的无人驾驶汽车研究综述

唐智威
TANG Zhi-wei
（格拉斯哥大学 工程学院，格拉斯哥 G11 6QQ）

随着汽车的广泛普及，电子和计算机技术的快速发展，无人驾驶已经成为一个前景广阔的领域。感知技术是无人驾驶领域最基础的关键技术之一，各种传感器被应用在无人驾驶汽车上。基于视觉的感知技术，其数据获取容易，信息量大，受到了研究人员的广泛青睐。主要从三个方面探讨视觉在无人驾驶汽车中的研究：一是利用视觉进行定位，二是利用视觉识别道路和交通标志，三是利用视觉实现避撞。最后，对基于视觉的无人驾驶技术进行了总结。

无人驾驶；视觉；定位；道路和交通标志识别；避撞

0　引言

现在，许多研究机构都在研发无人驾驶汽车，比如斯坦福大学获得DARPA挑战赛冠军的Stanley［1］，谷歌公司的Google Car［2］和宝马公司的自主驾驶汽车（selfdriving car）［3］。这些无人驾驶汽车都已经能够在特定环境中完成某种程度的自主驾驶。视觉作为无人汽车对外界环境和自身位置姿态感知的重要手段，得到了越来越多的研究。视觉感知研究的主要问题有：无人驾驶汽车的自主定位，自主构建环境地图，自主识别可行驶区域和交通标志，以及识别道路上的其他车辆和行人。本文针对以上问题的相关研究进行了综述。

1　基于视觉的无人汽车导航的发展现状

无人汽车的环境感知涉及到多种传感器的应用，当前，世界上各个研究机构所用的传感器包括激光雷达，GPS，惯性导航，摄像头，毫米波雷达，超声波雷达等。视觉摄像头因其获取的信息量大，价格低廉，且得到的信息非常直观，得到了广泛的研究。

1.1基于视觉的定位

定位是在无人驾驶汽车导航中最基本和最重要的功能之一。无人汽车需要通过定位系统准确、实时地感知自身在环境中的相对位置。定位分为绝对定位和相对定位，绝对定位通常借助于GPS等卫星导航系统，局部定位方法很多，可以采用惯性导航的方式（陀螺仪和加速度计等）。基于视觉的定位提供了一种直观的相对定位方式，可以配合其他传感器一同使用，也可通过对比前后帧图像的方法独立使用。因定位的重要性，它还往往与导航、避撞等技术结合起来研究。

为了实现精确，稳定的定位结果，张奕然等［4］提出了一种通过双目视觉利用路标的地理位置信息对GNSS（全球卫星导航系统）定位精度进行局部改良的方法。从双目摄像机获取图像后，采用随机Hough变换检测路标，采用SIFT算法和K-means算法对路标进行匹配识别，利用双目视差计算智能车与路标之间的向量，从而建立辅助定位模型，计算车辆的位置。Julius Ziegler等［5］提出了一种基于视觉辅助定位和导航的方法。他们研发的无人车Bertha使用依赖定位信息的几何地图。利用视觉技术检测车道线，类似道路元素和相关点特征，从而实现视觉辅助定位。另一种比较精确的定位方法是采用三维激光雷达，但成本较高，而采用摄像头结合激光雷达事先建立的地图，进行联合定位，可以获得较好的效果。Ryan W. Wolcott等［6］提出一种基于地图的视觉定位方法，该方法首先利用激光雷达对环境生成合成视图，其次通过比较视觉测量信息和该合成视图，将它们的归一化交互信息（normalized mutual information）最大化找到无人车所处的位置。

近年来基于视觉的同时定位与地图构建技术（V-SLAM）快速发展也为无人汽车利用视觉进行定位和地图构建奠定了基础［7］。SLAM问题可以描述为无人汽车在未知环境中运动并且在自身位置不确定的情况下逐步构建环境地图，同时对自身姿态和位置进行估计，从而实现自主定位和导航的技术。而V-SLAM问题［8］是基于多视图几何原理，根据相机拍摄的图像特征同时分析出每帧图像对应的相机位置和朝向信息，以及场景的三维结构。这种技术需要进行图像特征的匹配，有赖于场景特征的丰富程度，但是结合其他传感器如IMU的数据就可以在很大程度上解决这个问题。

大连理工的段华旭［9］针对基于图的SLAM的前端构图、闭环检测及后端优化三个环节展开研究。采用基于双目视觉进行立体图像匹配，计算出无人车连续位姿间的旋转平移关系，并以此为基础完成优化前的位姿拓扑地图构建。采用了一种基于ORB图像特征和BoW模型的闭环检测算法，并利用时间连续性约束和几何一致性约束来避免错误的闭环匹配对，从而提升闭环匹配的正确率。在线闭环检测以提供额外的空间约束，实现位姿拓扑地图的优化。位姿拓扑地图的后端优化采用了经典的高斯-牛顿优化方法，并且利用稀疏的Cholesky分解对矩阵方程进行求解。最终实现了系统误差的最小化，得到一幅校正的无人车位姿极大似然拓扑图。

1.2基于视觉的道路和交通标志检测与识别

视觉技术可以帮助无人汽车按照交通标线标志的规定行驶，通常这部分工作也依赖基于视觉的检测和识别技术。对于道路的检测和识别通常简化为检测和识别道路的边界，在城市结构化道路中就是检测和识别车道线。交通标志的检测和识别，因环境可能比较复杂，实时性要求较高，误检漏检的可能性较高。

1.2.1基于视觉的道路检测与识别

基于图像技术的道路识别主要分为结构化道路的识别和非结构化道路的识别。结构化道路指的是边缘较规则，路面平坦没有起伏，有相对明显的车道线及其他人工标记的行车道路。对于结构化道路，方启龙［10］提出了利用不变矩理论，其得到的特征量对发生倾斜、转动和缩放的图像有保持不变的性质。对在自然条件下会产生形变的道路标线，采用该方法可以很好地完成特征提取。另外他基于相似性度量的分类方法对交通标线进行识别，来降低车载视频图像中因交通标线形状变化甚至畸变等造成的影响。而非结构化道路因道路边缘特征不明显等问题一直是识别的难点，近年来得到广泛研究，其重点在于识别的实时性和鲁棒性。实时性要求道路识别系统能够在车辆通过该路段前的短时间内对道路的边缘和位置做出识别，而鲁棒性要求识别系统能够在复杂天气和环境中正常工作。常用方法有基于图像特征的识别方法和基于道路模型的匹配方法。

Fernando等［11］提出了一种基于自适应颜色直方图的方法，采用随机抽样一致性算法从摄像机获取的道路图像中获取道路的边缘和消失点，同时使用启发式算法来检查道路识别的时空一致性。该方法可以兼顾道路识别系统的实时性和鲁棒性，并且可以在没有道路的越野条件下使用。逄伟［12］采用两种方法综合处理，一是将由摄像机拍摄的RGB空间图像转换到HSV色彩空间，之后将图像在饱和度域二值化，经过膨胀闭运算填补图像中的阴影区域之后使用腐蚀闭运算放大图形边缘，将图像的路面部分分割出来。而后使用Canny算子进行边缘检测，使用Hough变换并结合最小二乘法的思想对图形中道路边缘的部分进行直线检测，获得道路边缘后候选集合，最后将两者的结果进行融合，从而得到较为准确的道路边缘位置。刘振超［13］在图像预处理时将RGB图像转换为亮度图像，计算图像ROI内任一像素的水平亮度微分，如果其值小于一定阈值，则可找到可能的车道线左边缘，对其坐标进行透视变换，找出可能的车道线左右边缘，得到车道线中央坐标。对其进行透视变换后，使用Hough变换分段检测直线。将前后帧检测的直线进行比较，消除错误检测及未检测的影响，把相邻两区域直线交点进行反向透视变换，最后把得到的坐标进行分段连接即可得到最终的车道线。

1.2.2基于视觉的交通标志的检测与识别

关于道路交通标志的检测，陈芝协［14］提出了两种交通标志检测方法。第一种基于颜色和形状信息，它的优点是检测速度较快，同时不需要任何的模型或样本。第二种方法是基于颜色信息和Adaboost的交通标志检测技术，这种方法适合采集样本充足的情况，因为它需要的训练样本较多。这种方法的好处在于它可以扩展应用于信号灯检测和行人检测等用途。胡锦城［15］提出一种基于并行策略及轮廓几何特征分析的交通标志检测方法。该算法中并行执行基于颜色特征的图像分割和基于形状特征的交通标志区域检测，以取并集的形式综合确定候选目标区域，从而定位交通标志，并利用区域面积、长宽比以及位置等先验信息进行验证，实现对交通标志的检测。

而关于道路交通标志的识别，Smorawa等［16］认为，交通标志的识别可以通过边缘检测、特征提取、标志的定位、标志的比较和再识别等来实现。他们使用Canny边缘检测算子标记该路标的位置，同时道路标识图像的有效特征将被提取并保存到数据库。新拍摄的图像将与数据库进行比较以识别路标。张爱爱［17］对基于颜色的交通标志分割算法进行了改进，交通标志颜色相同但过度鲜艳的噪声对自适应阈值的过度影响得以避免，很大程度上增强了分割算法对干扰噪声的鲁棒性。同时他还提出基于傅里叶描述子的形状分割算法，在很大程度上减少了噪声的影响，提高了分割准确率。在此基础上，提出了基于学习的HSC（Histograms of Sparse Codes）特征的道路交通标志识别算法，提高了道路交通标志识别的准确率。在交通标志的识别方面，陈芝协［14］提出了两类交通标志的识别方法，一种是基于Zernike不变矩结合支持向量机（SVM）的识别算法，此方法不需要获得大量的交通标志样本就能有很好的分辨效果，而且识别速度也较快，有很强的实用性。第二种方法基于稀疏表达分类算法（SRC）或基于系统编码分类算法（CRC），通过对实验结果分析可知，SRC和CRC两种方法对遮挡和光照问题有较高的鲁棒性。而且随着特征维数的增加，基于协同编码的算法耗时要远小于基于系数表达的算法，而且两者的准确率相差很小。针对光照变化和道路标志可能被部分遮挡的情况，胡锦城［15］提出一种基于多帧视频图像的高稳定特征的识别方法。利用交通标志的多帧视频图像的SURF特征建立bag of SURFs特征向量集，与标准交通标志图像的模板特征向量集匹配，并采用权值计分策略的最高得分确定交通标志的识别结果。

1.3基于视觉的避撞技术

碰撞是汽车可能面临的最常见事故，避免碰撞也成为无人驾驶汽车至关重要的需求。避撞技术的研究主要包括运动障碍物的检测，障碍物的运动轨迹估计及预测，控制汽车实现对运动障碍物的避撞。基于视觉的避撞技术通常结合基于距离的避撞技术（传感器如激光雷达、毫米波雷达等）一起使用。

Kaempchen等人［18］使用摄像机和激光扫描仪检测并跟踪其他移动物体的位置、速度、方向和尺寸并以此描述每个对象的运动以进行态势评估，前面步骤的数据将通过一系列快速和复杂的算法处理形成碰撞假设，进而做出是否刹车的决定。李宇［19］引入一种称为V视差的算法。这种算法首先进行立体匹配，即从双目图像对中寻找同名点，并利用同名点合成浓密视差图像，提取视差信息做为目标识别的依据，并进一步生成V视差图。提取V视差图中的直线信息，进而锁定目标大致区域，最后进行目标识别。这种方法可以识别前方具有面特征的障碍物，如行人、车辆和墙壁等等。该算法对于光照、阴影等干扰不敏感，避免了城市环境中复杂背景的干扰。朱志刚［20］等利用重投影变换技术，使用单摄像机双目立体成像、图像级重投影变换、非零视差滤波和姿态自适应动态重投影变换，利用重投影变换图像间的路面视差为零和非路面视差不为零的特性，在不提取特征的情况下，实现了对路面障碍物的实时监测。

2　结论

无人驾驶领域是当前的研究热点，本文对无人驾驶中的主要视觉处理研究工作进行了介绍，主要是基于视觉的定位、道路和交通标志的识别和检测、以及避撞技术等。可以看到，该领域已经取得了一定的进展，比如能够实现较为准确的定位、检测并识别车道线和交通标志以及避免可能发生的碰撞等。不过，无人驾驶系统的适用范围、准确性、安全性、实时性和鲁棒性仍有待提高。尤其是比起激光雷达等基于距离的传感器来说，基于视觉的传感器对于距离的检测往往不够精确，实时性也较差，这方面需要进行传感器信息的融合才能较好地解决。

［1］ Stanford University，Stanley［EB/OL］.https：//en.wikipedia.org/ wiki/Stanley_（vehicle），2005.

［2］ Fountain.‘Yes， Driverless Cars Know the Way to San Jose'［J］. The New York Times，2012.

［3］ Malone.‘Hands off the wheel， Tommy -- for you the driving is over'［J］.Sunday Times，2013.

［4］ 张奕然，郭承军，牛瑞朝.智能车双目视觉辅助GNSS定位方法研究［J］.计算机工程与应用，2015.

［5］ J. Ziegler， H. Lategahn， M. Schreiber， C. G. Keller， C. Knoppel， J. Hipp， M. Haueis，C. Stiller.Video based localization for bertha［J］. Intelligent Vehicles Symposium Proceedings， 2014 IEEE. IEEE，2014：1231-1238.

［6］ R. W. Wolcott and R. M. Eustice.Visual localization within LiDAR maps for automated urban driving［A］.2014 IEEE/RSJ International Conference on Intelligent Robots and Systems［C］. 176-183.

［7］ Lategahn H， Geiger A， Kitt B. Visual SLAM for autonomous ground vehicles［A］.2011 IEEE International Conference on Robotics and Automation［C］.1732-1737.

［8］ 刘浩敏，章国锋，鲍虎军.基于单目视觉的同时定位与地图构建方法综述［J］.计算机辅助设计与图形学学报.2016，28（6）：855-868.

［9］ 段华旭.无人车基于双目视觉室外即时定位与地图构建［D］.大连理工大学.2015.

［10］ 方启龙.基于无人车辅助导航的交通标线识别方法研究［D］.安徽大学，2012.

［11］ Bernuy， F.， del Solar， J. R.， Parra， I.， Vallejos， P.Adaptive and Real-Time Unpaved Road Segmentation using Color Histograms and RANSAC［A］.2011 9th IEEE International Conference on Control and Automation［C］.136-141.

［12］ 逄伟.低速环境下的智能车无人驾驶技术研究［D］.浙江大学， 2015.

［13］ 刘振超.基于图像的车道线检测［D］.中国科学技术大学，2012.

［14］ 陈芝协.城区道路交通标志的检测与识别［D］.中国科学技术大学，2012.

［15］ 胡锦城.基于稳定特征的交通标志检测与识别技术研究［D］.湖南大学，2012.

【】【】

［16］ Smorawa， Dorota， and Mariusz Kubanek.Analysis of advanced techniques of image processing based on automatic detection system and road sings recognition［J］.Journal of Applied Mathematics and Computational Mechanics，2014，1：13.

［17］ 张爱爱.道路交通标志的检测研究［D］.北京交通大学，2015.

［18］ Kaempchen，Schiele， Dietmayer Situation Assessment of an Autonomous Emergency Brake for Arbitrary Vehicle-to-Vehicle Collision Scenarios［J］.Intelligent Transportation Systems， IEEE Transactions，2009，10：678-687.

［19］ 李宇.基于双目视觉的障碍物识别研究［D］.武汉理工大学，2007.

［20］ 朱志刚，林学.基于重投影变换的实时障碍物检测视觉系统［J］.计算机研究与发展，1999：77-84.

A review of driverless cars based on vision

TP391.4

A

1009-0134（2016）08-0134-03

2016-06-28

唐智威（1992 -），男，北京人，本科，研究方向为智能控制。