李志为，张百睿，卢伟雄，钟清华

(华南师范大学物理与电信工程学院，广东广州510631)

驾驶员的过度疲劳与疏忽导致车辆偏离车道造成重大交通事故的比例逐年增长．车道偏离警告系统(LDWS，Lane DepartureWarning System)的研究已成为国内外的研究热点［1-3］．目前车道线检测多采用机器视觉的识别方法［4-5］，分为特征识别和模型识别．前者目前应用较广，但当道路出现阴影和车道线边缘受损时，该方法易失效．后者能有效克服路面污染、阴影、光照不均等外界环境影响．但由于外界环境的复杂易出现识别错误．

车道偏移警告系统有实时性要求高、运行环境复杂的特点，而且路况具有较大的不确定性和多样性，需使用多种复杂处理算法以提高车道线检测的准确率［6-8］．鲁棒性即系统的强壮性，指系统在扰动或不确定的情况下仍能保持其特征．利用鲁棒性强的霍夫变换算法将原始图像中给定形状的直线变换到参数空间，该方法要求的计算量和存储空间较大．采用高性能ARM处理器或数字信号处理芯片(Digital Signal Processing，DSP)的成本较高，高频线路的设计难度较大［9-11］．利用现场可编程门阵列(Field Programmable Gate Array，FPGA)的并行计算优势和软硬件协同设计的灵活性，本文应用ALTERA公司的片上NIOSⅡ系统CycloneⅡFPGA处理核心进行系统开发，设计中应用了一种鲁棒的快速车道线偏移警告算法，并利用Avalon总线进行IP核的定制，实现了车道偏移警告系统的软硬件设计．系统的准确率和实时性能满足全天候车道偏移警告需求．

1 系统架构与硬件构成

1．1 系统架构

车道偏移警告系统框图如图1所示．采用Altera公司的CycloneⅡ系列FPGA(型号为EP2C35F672C6)作为处理核心．ADV7181视频采集芯片对摄像头输出的模拟信号进行采集，经FPGA处理完成后，通过蜂鸣器输出警告信号．图像采集使用Altera公司DE2开发套件提供的DE2_TV例程进行精简，保留对ADV7181视频采集芯片的驱动代码，并把采集的图像数据存储在系统的SRAM中，以做后续处理．

图1 系统结构Figure 1 The structure of system

系统的实现既充分利用了FPGA并行处理特性，又结合其软硬件协同设计的灵活性．在FPGA上建立了可编程片上系统(System on Programmable Chip，SoPC)，采用电路硬核和NIOSⅡ软核协同处理方式，其中图像处理算法采用硬核固件实现，而对处理速度要求不高的控制功能则用NIOSⅡ软核来完成，以满足系统灵活性需求．

1．2 基于Avalon总线接口的IP核设计

SoPC是Altera公司提供的一种高效、灵活的SOC解决方案，其关键技术之一IP核(Intellectual Property Core)可将数字电路中一些常用且较复杂的功能模块，设计成参数可调的模块，方便用户灵活调用．Avalon交换式总线是由Altera公司开发的一种专用内部连线技术，IP核可通过Avalon总线方便快捷地集成到系统，可在软核中方便地设置参数，而不需添加任何逻辑接口．

Avalon总线是一种理想的用于系统处理器和外设之间的内联总线，可由SoPC Builder自动生成，从而进一步降低了系统集成的难度．Avalon总线有多种接口，其中 Avalon-MM接口(Avalon Memory Mapped Interface)是内存映射系统下用于主从设备之间读写的接口，这些设备包括微处理器、存储器、通用串行接口(UART)、定时器等(图2)．

图2 Avalon-MM接口Figure 2 Avalon Memory Mapped interface

本文提出的主要算法模块如中值滤波、二值化阈值计算、车道线匹配及霍夫变换均采用Avalon总线接口的IP核方式进行设计．

2 车道线偏移快速检测算法与实现

2．1 车道线偏移检测算法

车道偏移检测算法(图3)用于对车道线进行检测和识别，当车辆出现无意识的车道变换即越过车道线时，发出警告．

图3 车道线偏移检测算法Figure 3 Lane departure detection algorithm

采集车辆前方模拟摄像头的亮度信号(Y信号)，得到灰度图像(图4)．

图4 图像区域划分Figure 4 Divisions of the image

为减少计算量，提高处理速度，仅对图4中2个160×160的感兴趣区域(Region of Interest，ROI)进行检测和识别．采用3×3的中值滤波器对ROI进行滤波，以去除图像采集和传输过程中的噪声．然后把图像划分为16级灰度，根据迭代法算出二值化阈值．考虑到FPGA读写存储器费时较多，并不产生二值化图像，仅以阈值作为区分黑白的依据．

经过上述算法处理后，得到较好的二值化效果(图5A)．由于车道线具有连续性和非突变性，在图像中以行间距为5像素进行横向检测，基于车道线的宽度特征对车道线进行匹配．根据车道线的宽度规格和实验所得数据，设定最小和最大车道线宽度匹配阈值分别为10和28个像素，对图像进行分析，寻找车道线的中线，并记录其中点的坐标．处理结果如图5B所示．

图5 预处理和匹配效果Figure 5 Prcprocessing and matching results

当得到车道线中点坐标后，针对左右2个感兴趣区域中每个像素点坐标di(x，y)，采用霍夫变换模块根据公式ρ=x cosθ+y sinθ映射为变换空间中的1条曲线，并在ρ和θ构成的变换空间中进行累加，累加结果代表直角坐标系中共线像素点的数量．实际环境中越线情况下左侧车道线的θ取值范围为10°～41°，右侧车道线为 -41°～ -10°．

车道线提取目的是在霍夫变换所生成的2个感兴趣变换矩阵中，提取有效的车道线参数．首先选取矩阵中数值最大且大于8的单元，当对应直线与底边的交点、夹角符合越线的判断依据时发出警告．

2．2 中值滤波算法的电路实现

为实现3×3为窗口的中值滤波算法，采用FIFO结构作为缓冲，以实现9个像素点的数据同时读取，然后作中值滤波运算，完成后则读取下一组9个像素点的数据进行运算，直至完成全部感兴趣区域的滤波计算，以减少图像采集和传输过程中所产生的噪声．

2．3 二值化阈值计算的电路实现

二值化阈值计算电路采取了图像灰度分布的方法．为避免复杂路面情况引起灰度分布曲线毛刺过多对二值化阈值的求解产生影响，将灰度空间划分为16个等长空间的方式进行统计，即采用16个寄存器来存储灰度直方图，再根据32位Avalon总线的特性，每次读取4个像素点的灰度值进行灰度直方图统计．当直方图统计完成后，采用迭代法计算阈值，得到的阈值通过Avalon总线，反馈给NIOSⅡ软核．

2．4 车道线匹配及霍夫变换

在得到二值化阈值后，车道线匹配部分电路根据软核中所设定的宽度阈值，对整个感兴趣区域进行横向扫描，利用宽度阈值对图像中的车道线作匹配操作，并开辟1个寄存器空间，记录匹配结果的横纵坐标．

霍夫变换电路采用双通道并行处理的方式，分别对左右2个感兴趣区域中匹配所得的坐标点进行并行处理，充分发挥FPGA的优势．电路设计时，将处理所需的正余弦计算值预先存储在寄存器中，大大减少了处理时间．

空间投票电路基于寄存器设计，将当前输入直线参数对应的存储单元读出，并将其加1后重新写入该单元．霍夫变换矩阵需要存储较大的投票空间数据量，而且一般需要把整幅图像处理完成后，才能进行峰值检测．为了解决这一问题，本文将空间投票和峰值检测操作合二为一，在投票的同时记录最大值的单元位置，使峰值检测与投票操作一同完成，提高实时性．

3 系统仿真与测试

为了验证系统的可靠性和准确性，搭建仿真系统进行测试(图6)．测试输入的视频由实际道路上采集所得，包括了不同时段的正常道路和多重干扰路况，如含斑马线、文字和其他路面标识的路面．测试视频利用计算机播放，并通过显卡AV输出到DE2开发套件．DE2将采集的实时图像信息通过VGA接口输出到显示器上，并在出现越车道线时，通过蜂鸣器发出警告．

图6 系统仿真测试示意图Figure 6 Structure of practical simnlation

对于高速公路、傍晚普通道路和夜晚普通道路等不同道路环境，系统能准确识别出车辆越线，解决了路面标识、夜间灯光等环境条件对车道线识别产生的干挠．系统以50 MHz的速度运行，处理单张静态图片花费时间约为19 ms，处理视频数据每帧耗时约为24 ms(表1)，完全满足实时性的要求．

表1 视频处理结果统计Table 1 Video processing results

4 结论

开发了基于机器视觉的鲁棒车道偏移警告系统，以Cyclone II FPGA作为处理核心进行系统开发，利用Avalon总线进行IP核的定制，实现了车道偏移警告系统的软硬件设计．系统以50 MHz的速度运行，图像处理速率可达到每秒30帧以上．测试结果表明，该系统的准确率和实时性均满足全天候车道偏移警告需求．

［1］JEONG SG，KIM CS，YOON K S，etal．Real-time lane detection for autonomous navigation［C］∥IEEE Proceedings of Intelligent Transportation Systems(ITSC01)．Oakland，USA，2001:508-513．

［2］McCALL JC，TRIVEDIM M．Video-based lane estimation and tracking for driver assistance:Survey，system，and evaluation［J］．IEEE Trans on Intelligent Transportation Systems，2006，7(1):20-37．

［3］ASSIDIQ A A，KHALIFA O O，ISLAM M R，et al．Real time lane detection for autonomous vehicles［C］∥International Conference Computer and Communication Engineering(ICCCE)．Kuala Lumpur，Malaysia，2008:82-88．

［4］LEE JW．Amachine vision system for lane-departure detection［J］．Computer Vision and Image Understanding，2002，86(1):52-78．

［5］李旭，张为公．基于视觉的车道偏离报警系统的研究［J］．仪器仪表学报，2008，(7):1554-1558

［6］KIM S Y，OH S Y．A driver adaptive lane departure warning system based on image processing and a fuzzy evolutionary technique［C］∥ IEEE Intelligent Vehicles Symposium．Columbus，USA，2003:361-365．

［7］JUNG CR，KELBER CR．A lane departure warning system using lateral offset with uncalibrated camera［C］∥IEEE Proceedings of the International Conference on Intelligent Transportation Systems．Vienna，2005:348-353．

［8］JEONG P，NEDEVSCHIS．Efficient and robust classification method using combined feature vector for lane detection［J］．IEEE Trans on Circuits and Systems for Video Technology，2005，15(4):528-537．

［9］陈军．基于DSP的高速公路车道偏离报警系统研究［D］．天津:天津大学，2010．

［10］HSIAO PY，YEH CW，HUANG SS．A portable visionbased real-time lane departure warning system:day and night［J］．IEEE Trans on Vehicular Technology，2009，58(4):2089-2094．

［11］TSENG S P，LIAO Y S，YEH C H．A DSP-based lane recognition method for the lane departure warning system of smart vehicles［C］∥International Conference on Networking，Sensing and Control(ICNSC09)．Okayama，Japan，2009:823-828．