易世春，李克强，李防震，张 强

(1．清华大学，汽车安全与节能国家重点实验室，北京 100084;2．亚德诺半导体技术(上海)有限公司深圳分公司，深圳 518048;3．重庆长安汽车股份有限公司，重庆 400021)

前言

随着汽车保有量上升，由于车辆交通事故导致的人员伤亡和财产损失也随之增加。统计研究表明，90%以上的交通事故源于驾驶员错误判断和决策［1］，驾驶员已成为人-车-路系统中的薄弱环节。据NHTSA统计，2008年美国导致乘员伤亡的交通事故中由于偏离车道导致碰撞的比例为23.8%。而在这些事故中，超过90%是由驾驶员疲劳、走神或不良驾驶习惯导致。开展用于辅助驾驶员保持在车道内行驶的车道偏离预警系统(lane departure warning system，LDWS)研究及开发对于提高交通安全具有重要意义。

车道偏离预警系统的产品化研究已经取得了阶段性成果，已安装在部分中高端车型上。由于图像处理数据量大，计算复杂，这些系统大多由一个CCD或者CMOS摄像头加上高性能DSP芯片及其外围器件，如拓展的RAM和ROM存储器而构成。文献［2］中选用CCD芯片的模拟摄像头和600MHz主频的DSP芯片，使用一片视频解码芯片将模拟视频信号转化为数字信号以便DSP处理，一片SDRAM用来扩展系统内存以满足算法需要。文献［3］和文献［4］中提出的系统方案选用的处理芯片主频最高可达720MHz，文献［5］中则提出了一种基于并行视频处理器的车道线识别系统及其FPGA实现。这些系统由于处理芯片价格昂贵，外围器件复杂，往往成本较高，难以在低端车型上应用。

针对这一问题，本文中提出一种基于图像行数据处理的车道线识别方法，通过逐行特征提取和特征归类处理，提高运行效率，降低内存消耗。由此设计的低成本车道偏离预警系统选用数字摄像头和具有400MHz主频的DSP芯片，无需视频解码电路和拓展存储器，在保证车道线识别率的同时降低硬件复杂度，削减系统成本。为量化评估系统车道线识别性能，提出一种适用于嵌入式系统的车道线识别测试和验证方案，通过离线制作的样本数据实现车道偏离预警系统硬件在环的识别性能测试。

1 系统总体设计

1．1 系统组成

该系统通过一个安装于汽车前挡风玻璃内侧的数字摄像头采集车辆前方道路图像。数字图像数据逐行输出，由DSP芯片采集存储后检测车道线。同时，系统可通过CAN总线或I/O通道获取车速、转向灯和制动等车辆信号。综合车道线信息和车辆信号判断车辆是否存在偏离车道的风险，若存在风险，则控制蜂鸣器和LED指示灯进行警示。

1．2 硬件方案

本系统采用的低端DSP芯片主频为400MHz，有32kB的片内数据SRAM和1路视频接口。本系统将该路视频接口配置为数字相机输入，用于采集图像数据。由于该DSP芯片未集成CAN模块，因此在硬件电路中增加了一个CAN控制器，用于将SPI信息转换为满足CAN 2.0标准的CAN信号输出，从而实现与车辆CAN网络的通信。满足系统结构和上述需求的硬件设计方案如图1所示。

1．3 软件流程

数字摄像头被配置成逐行输出，NTSC制式，传输频率为30帧。将图像分为两个区域，如图2所示。区域Ⅰ为图像感兴趣区域，对平直路面通常设置为地平线以下区域，在该区域中将进行车道线识别。反之，对区域Ⅱ中的图像不做处理。

图3为系统的软件流程示意图。系统通电后首先进行系统初始化，设置算法所需数据，配置DSP和外设。对每帧图像，当数字摄像头传输的数据位于区域Ⅰ时，逐行提取车道线特征点并作归类处理。为减少内存消耗，系统仅保存最新的3行图像数据和车道线特征参数。在图像区域Ⅱ，不做图像处理，而是利用识别到的车道线特征拟合车道线，并根据拟合结果更新感兴趣区域。最后执行偏离预警决策，判读是否对驾驶员进行提示。

本文中选用的数字摄像机输出图像尺寸为640×480，在30帧的更新频率下，每行数据的传输时间为69.5μs，这也是行处理算法的最大运行时间。

2 基于行处理的车道线识别

本文中提出的车道线识别算法主要由两部分组成。在区域Ⅰ，逐行提取车道线特征，并将新检测的车道线特征点归到已归类的特征类中。每个特征类代表一组在图像纵轴上连续的车道线特征集。在区域Ⅱ，利用直线方程拟合检测到的有效特征类，并根据拟合结果更新下一帧图像的感兴趣区域。

2.1 局部阈值法提取车道线特征

由于车道线的灰度值大于路面灰度，在车道线与地面的交界处存在明显灰度突变，利用1阶或2阶微分边缘检测算子提取车道线边缘是最常用的方法［6－7］。文献［8］和文献［9］中通过实验说明基于局部灰度阈值的车道线特征提取算法性能优于边缘算子。该方法可以描述为

记纵坐标为y的一行图像中车道线宽度范围为{wmin(y)， wmax(y)}，由于透视效应，近视场的车道线宽度要大于远视场，即y越大，wmax(y)也越大。为达到平滑车道线灰度的效果，滤波窗口的宽度应设置得越大越好。但是随着滤波窗口的增大，图像中不同区域的耦合影响越严重，在道路灰度不均匀，如存在阴影或路面较脏时，会产生大量的虚假特征。取最大车道线宽度的5倍作为滤波窗口宽度，即

为减少算法对数据存储的要求，仅有最新的3行图像数据被缓存，故将滤波窗口的高度Mh(y)设置为3，取TG为40，二值化效果见图4。

图4(a)是原始图像，图4(b)是利用可变窗口均值滤波后的图像，原始图像与均值滤波图像的差值图像即为图4(c)，最后经灰度阈值二值化后得到图4(d)。对二值化图像加以车道线宽度约束，消除局部噪声干扰并做细化后得到图5所示的车道线特征图像。

2．2 车道线特征归类处理

基于行的车道特征提取算法仅考虑到车道线在横向上的分布特性，难以排除阴影、前方车辆和路侧物体等干扰。事实上，在图像中路面区域，车道线在不同行之间是具有连续性的。特征归类处理便是利用这一特性，将特征点按照车道线连续性进行分组，按类来描述车道线特征。每个特征类代表一段连续的车道线，用直线方程描述［10］。若车道线是实线，那么一条车道线可能仅包含一个特征类。而在车道线有破损，或车道线是虚线时，通常会包含几个特征类。利用特征类来描述一组连续的车道线特征，不但可以降低算法数据存储需求，排除不连续干扰，还能获取车道线方向与位置，提高车道线特征提取和车道线拟合的准确性。

从特征一致性来看，同一特征类的车道线特征属于同一车道线，应具有相似的特征宽度。从特征连续性来看，同一特征类相邻两个特征之间的纵向间隔较小，受透视效应影响，随着距离增加，该间隔会逐渐减小;相邻两行车道线特征在宽度上存在一定重叠，且在直线假设下，特征点成线性分布。综合以上4个约束条件，令Bk(w)代表第k个特征类的平均特征宽度，Bk(c)代表该特征类的特征数量，Bk(x0)和Bk(y0)代表特征类的起始位置，Bk(x1)和Bk(y1)代表特征类的终止位置。f(w)、f(x)和f(y)表示车道线特征的宽度和位置，若特征点与第k个特征类满足式(3)～式(6)，则认为该特征点属于第k个特征类。

车道线一致性约束:

式中:c1和c2为车道线宽度缩放系数，本文中设置c1=0.5，c2=1.3。

车道线纵向连续性约束:

式中:Sy表示特征类最大纵向间隔，受透视影响，该值随y增加而增加，最大值为5，最小值为2。

车道线横向连续性约束:

Sx表示最大横向偏差，Sx=4。

基于上述车道线特征提取和特征归类方法的行处理流程如下:(1)更新一行图像数据;(2)运行特征提取算法，检测到一个候选车道线特征点;(3)将该特征点与活动的特征类进行匹配，若没有符合约束的特征类，则生成一个新的特征类;(4)跳转至(2)，若本行数据处理结束，则执行(5);(5)特征类有效性处理，若活动特征类与当前行的距离小于Sy，不做处理;若活动特征类与当前处理行距离大于Sy且特征数量大于3，则认为该特征类有效，反之，删除该特征类。

归类处理后的车道线检测结果如图6所示。

图6中，矩形框表示由特征类起点坐标和终点坐标所定义的外接矩形。不难看出，大部分干扰点由于不满足特征一致性和连续性约束而被排除。同一车道线上的特征类具有相似的方向和偏移。

2．3 基于特征类组合的快速车道线拟合

特征类中的特征数量在某种程度上反映了特征类属于车道线的可能性，特征数量越多，该特征类属于车道线的可能性越大。将左右车道线感兴趣区域中的特征类按照特征数量降序排列，从第1个特征类开始，以未配对的最大特征类为基准类，依次与其他未配对特征类比较，基于车道线模型分析各个特征类之间分布特性，将属于同一车道线的特征类组合在一起，便可描述相应的车道线参数。本文中采用的直线模型为

若某一特征类与基准类属于同一车道线，则这两个特征类在纵向上不会发生重叠，且两个特征类的斜率和偏移量差值不大，即

式中:kb和bb为基准类的直线参数;yb0和yb1表示待配对特征类的起始行和终止行;k和b为待配对特征类的直线参数;y0和y1表示待配对特征类的起始行和终止行;d(y)表示第y行的有效范围。

若有两个或以上特征类在纵向上有重叠，且都满足式(8)，则利用式(9)中的相似准则进行挑选:

式中:σ表示车道线偏差指标;sk和sb表示斜率和偏移量的权重。从直观理解，σ越小，特征类与基准类的匹配程度越高，取匹配程度最高的特征类配对。若多个特征类符合配对条件，则按照式(10)将其车道线参数做加权平均，作为匹配车道线参数。

最终识别结果如图7所示。

3 系统测试及验证

3．1 嵌入式系统测试方案

对LDW系统而言，车道线识别率和系统实时性是最重要的两项指标。针对嵌入式系统的车道线识别率和实时性测试要求，设计了图8所示的测试方法。首先采集实际道路视频并挑选出用于测试的样本，这些样本覆盖了大部分天气和道路类型;然后手动标记样本中每帧图像的车道线位置，保存为标准数据;最后将这些样本视频输出至嵌入式系统进行处理，并由CAN总线读取识别结果。将识别结果与标准数据对比，即可计算出识别率等参数。

由于系统没有视频输出接口，不能直接显示识别结果，在上述测试方法的基础上，具体实施方案如图9所示。计算机通过视频输出卡将测试视频发送到视频转换控制器，该控制器将模拟视频信号转换为与数字摄像头输出一致的数字信号。系统控制器采集该数字视频，进行车道线识别并把识别结果通过CAN发送至计算机。计算机将识别结果叠加到视频中送显以便观测。由于系统实际运行时也可能存在由于图像的采集和处理而引起的延迟，即用于处理的图像滞后于实际道路状况，此时即使车道线识别结果准确无误，测量得到的车道线位置也并非与实际位置一致。在本节所提出的测试方案中，电脑播放的视频即为模拟的实际道路状况，当系统处理速度慢时，其输出的识别结果相对于电脑端的图像存在延迟，识别结果与标定数据不一致，故可用于评价系统实际运行时的延迟误差。

3．2 识别率评价指标

测试样本标记得到的车道线参数是测试对比的标准，识别得到的车道线与标记车道线的相似程度直接反应了车道线识别结果的准确性。受汽车前挡风玻璃角度的限制和汽车发动机盖的遮挡，摄像头通常仅能捕捉其前方5m之外的路面。本文中采用5～40m范围内的车道线重合度来计算识别率，评价指标为

式中:p为匹配率;n0和n1代表匹配区域起始和结束行;r(y)代表第y行的匹配结果;ks和bs为标记的车道线参数;k和b为识别的车道线参数;h(y)表示第y行的有效范围。h(y)越大，匹配限制越低，识别的车道线参数与标记参数存在较大误差时也满足约束。此处取h(y)为路面宽度25cm时在第y行的图像距离。在这种匹配限制下，识别车道线与标记车道线最大横向偏移小于25cm，最大角度差为arctan(2×0.25/(40－5))，约为0.82°。若计算所得的匹配率p＞98%，则认为识别结果有效。

图10即为以上设置时的车道线有效区域。其中黑色实线代表标记的车道线，两侧黑色虚线之间则是有效区域。

3．3 试验结果

在将车道线识别算法移植到嵌入式系统后，对算法运行时间进行测试，结果如表1所示。

表1 算法运行时间

从表1可以看出，行处理最长时间小于图像行数据传输时间，可以保证系统实时性。在存储需求方面，由于算法逐行处理，只须保留3行数据，减少了内存开销;另外，通过特征归类处理后，使用特征类来描述一组满足类约束的车道线特征点并逐行校验，及时丢弃无效特征类，从而进一步降低了内存需求。最终系统的内存开销小于25kB。由于DSP芯片有32kB的片内SRAM，因此无需外扩SDRAM便能满足系统要求。

根据3.1节描述的测试方法，采用多种工况下的道路视频对嵌入式系统进行测试，结果见图11。

从图中可以看出，本方法在多种工况下都可识别车道线，包括路面文字，强光照射、阴影遮挡干扰下都可以正确识别车道线，具有很强的适应性。采用不同工况下的实际道路视频进行测试，本系统在典型工况下的识别率大于98%，平均识别率大于90%。由于车道偏离系统主要适用于高速工况，道路曲率半径通常大于250m，基于直线模型的车道偏离预警系统可以满足系统需求，故本文中提出的基于图像行处理的车道偏离预警系统满足产品需求，具有较高的实用价值。

4 结论

本文中提出的基于图像行数据处理的车道线识别方法，通过逐行特征提取和特征归类处理，提高运行效率，降低内存消耗。由此设计的低成本车道偏离预警系统选用数字摄像头和具有400MHz主频的DSP芯片，无需视频解码电路和拓展存储器，在保证车道线识别率的同时有效降低硬件复杂程度。通过系统硬件在环试验，得出如下结论:

(1)基于行处理的车道线识别算法满足处理时间和识别率的要求，运行效率高，内存消耗低;

(2)该算法移植于DSP芯片后运行正常，具有很好的稳定性和实时性;

(3)设计的车道偏离预警系统结构简单，能有效降低系统成本，具有较高的应用价值。

［1］ Aufrère1 R，Gowdy J，Mertz C，et al．Perception for Collision A-voidance and Autonomous Driving［J］．Mechatronics，2003，13(10):1149－1161．

［2］ Stephen P Tseng，Liao Yungsheng，Chih Hsie Yeh，et al．A DSPBased Lane Recognition Method for the Lane Departure Warning System of Smart Vehicles［C］．Proceedings of the 2009 IEEE International Conference on Networking，Sensing and Control，Okayama，Japan，2009:823－828．

［3］ Yu Bing，Zhang Weigong，Cai Yingfeng．A Lane Departure Warning System Based on Machine Vision［C］．2008 IEEE Pacific-Asia Workshop on Computational Intelligence and Industrial Application，Wuhan，China，2008:197－201．

［4］ 闫旭琴．嵌入式车道偏离预警系统关键技术研究［C］．中国计量协会冶金分会2010年会，2010:1015－1018．

［5］ 李元金，张万成，吴南健．一种基于并行处理器的快速车道线检测系统及FPGA实现［J］．电子与信息学报，2010，32(12):2901－2906．

［6］ 郭磊，王建强，李克强．存在车辆干扰的车道线识别［J］．汽车工程，2007，29(5):372－376．

［7］ 刘志强，陈彦博，葛如海．基于路面图像对称性的车道偏离识别方法研究［J］．汽车工程，2007，29(7):625 －629．

［8］ Thomas Veit，Jean-Philippe Tarel，Philippe Nicolle，et al．Evaluation of Road Marking Feature Extraction［C］．Proceedings of the 11th International IEEE Conference on Intelligent Transportation Systems，Beijing，China，2008:174 －181．

［9］ Evangeline Pollard，Dominique Gruyer，Jean-Philippe Tarel，et al．Lane Marking Extraction with Combination Strategy and Comparative Evaluation on Synthetic and Camera Images［C］．2011 14th International IEEE Conference on Intelligent Transportation Systems，Washington，DC，USA，2011:1741－1746．

［10］ Philipp Lindner，Stephan Blokzyl，Gerd Wanielik，et al．Applying Multi Level Processing for Robust Geometric Lane Feature Extraction［C］．2010 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems University of Utah，Salt Lake City，UT，USA，2010:248－254．