刘丹萍，汪 珺，葛文祥

(合肥学院 先进制造工程学院， 合肥 230000)

0 引 言

自动驾驶技术近年来发展迅速，相关的科学研究是助力自动驾驶快速发展的迫切需求。在自动驾驶开发流程中，视觉感知技术的研究占据重要位置。当前自动驾驶的研究在很多交通场景下展开，以目前的发展情况，慢速园区的自动驾驶产品成为核心力量。面向低速校园配送车辆的自动驾驶技术，对基于摄像头传感器的校园交通场景中车道线检测技术进行研究。高级驾驶辅助系统在自动驾驶概念成为全球关注热点的今天越来越广泛地被应用到日常驾驶之中。相关学者开展的研究包括：车道检测[1-3]、道路检测[4-8]、前车碰撞警告[9-10]、交通标识检测[11-12]，交通道路发生拥堵工况的场景检测[13-14]，以及交通场景中道路上的交通标记和其他标记的检测[15-16]。在以上的研究工作中，车道检测是不可替代的研究工作，其在高级驾驶辅助和自动驾驶应用中扮演着重要的角色。在面向车道线的检测研究中，相关学者对霍夫变化算法进行了大量研究，杨喜宁等[17]对车道线的检测工作提出了一种新颖的可以提升检测效果的模型增强霍夫变换算法，刘富强等[18]提出了一种能同时适应弯道和直道的车道线检测算法，赵颖等[19]提出一种简化引导的实时的公路车道线检测算法，一些学者对实时性或鲁棒性的问题高度关注，孙伟等[20]提出一种通过提升实时性和强化鲁棒性来提升检测效果的车道线检测算法，交通场景中负责的背景图像经常会干扰车道线的识别和定位，Guo等[21]提出一种实时且计算效率高的车道检测算法，该算法可以有效检测并避免城市或者高速公路上复杂背景图像对车道线检测的干扰，车道线的边缘检测是检测工作的核心，但由于车道线宽度较窄，一般的研究工作都是只检测一条边缘，Deng等[22]为了提升检测车道线的精度，专门提出一种提取车道线双边缘的检测方法，并通过验证提升了检测效果。

综合分析国内外学者的研究成果，发现当前对车道线的检测在校园封闭场景的研究不足。当前车道线的检测很少针对特定的交通场景进行研究，而实际上更多的研究是面向结构化程度很高的高速公路或者良好的城市道路。在高结构化交通场景中，车道线往往是要符合交通法规的，同时整个园区的车道线应该按照同一标准绘制，最后所有的车道线都是清晰可见的。以中国常见的大学校园场景为例分析，此类场景没有规范性的交通规则，甚至在同一园区内，不同年份绘制的车道线都不具有统一性的要求，很多老旧园区的车道线保养状况更是残次不齐，很多车道线的清晰程度很低。当前的检测算法对于车道线不完整、车道线外形不统一的情况无法保证较高的检测精度。

园区交通场景中的车道线存在不规范、不统一、不清晰的问题为车道线检测带来了很多干扰，针对不完整车道线难以检测绘制等相关问题，融合递归神经网络(RNN)和深度强化学习(DRL)算法提出局部定位车道线检测方法，以求提升检测的精度。局部检测是针对研究存在的弱光照车道线辨别度低、残缺车道线出现漏检、标签噪声导致学习模型中数据图片利用率低下、学习算法泛化能力差，提出基于递归神经网络和稀疏惩罚的学习检测方法，首先通过图形学的方法完成灰度处理和霍夫变换，其中对弱光照图像进行灰度拉伸，改善弱光照场景下车道线辨别度低的问题，然后基于学习的方法，应用卷积神经网络和递归神经网络对数据图像进行处理，其中通过感兴趣区域的RNN学习模型设计，自适应检测并补全残缺的车道线，最后设计稀疏惩罚去除被噪声污染的图像标签，提升数据的利用率；定位检测是通过深度强化学习，对前述检测结果——局部位置区域进行切割，在每一条横向分割线上，通过马尔可夫决策模型对车道线的交点进行定位，最终通过将多点进行连接和绘制完成车道线。

1 基于RNN的车道线检测

首先使用图形学的方法对图像进行预处理，对图像进行灰度处理，将图像有彩色的特征转变为黑白的特征。

(1)

其中，ni为像素中灰度的数目；N为目标图像总像素的数目；p(i)为目标图像中灰度像素的百分比。

在车道线检测中，车道线与道路以及其他环境物体的颜色差异性越大越好，为了将这种差异性进一步明确，在传统灰度计算的基础上，要进行灰度值的拉伸计算，其中拉伸算法采用三段法，如下：

(2)

在极坐标下进行霍夫变换，其中图形的像素坐标系的横坐标、纵坐标以及向量与坐标系的夹角分别用x、y、θ表示:

ρ=xcosθ+ysinθ

(3)

通过霍夫变换可以检测到待测图像中所有的共线的点，这些点会包含一些干扰物的边缘，如树木、路灯等。具体来说，设计递归神经网络模型，以车道线的梯度特征和几何属性作为参考，对训练集数据图像进行训练，排除具有类似梯度分布的干扰物，并补全几何形态相符，但梯度参数不全的残缺车道线段落。递归神经网络模型设计如下，其中c为遗忘门，b为输入门，α为{b,c,d}。

(4)

(5)

自定义数据集无法避免地存在一定比例的带有被污染标签的数据样本。针对数据样本标签往往被污染的情况，应用稀疏惩罚方法设计噪声容忍的递归神经网络学习模型，以大大提升数据样本的利用效率。针对目标数据标签，基于稀疏惩罚模型最小化目标函数如下：

(6)

其中，F为标签矩阵，V为最下层的输出参数，W为转置矩阵，U为最上层的输出参数，RNN单元如图1所示，Ct-1是对应下标时间步的门参数，ht是对应下标时间步的状态，xt是对应下标时间步的神经元。

图1 RNN单元结构Fig.1 Unit structure of RNN

2 基于DRL的车道线定位和检测

车道线检测过程的第二步是使用DRL模型，在第一步递归神经网络检测得到车道线所在的局部区域后，通过强化学习将6个车道线定位标识点进行准确定位，再基于这6个标识点完成车道线的检测和绘制工作。本文的车道线检测算法中强化学习的模型是目标点在感兴趣区域的横向分割线上从随机定位开始进行随机移动，以位置与车道线上的标签点发生重合为完成任务的标准。通过设置奖励函数，目标点不断地与车道线重合，最终完成最优策略的学习。

通过强化学习算法模型寻找最优策略，车道线定位和检测中，将车道线局部区域用垂直方向6个等距线分割，每条分割线上的定位点就是智能体算法模型的控制对象，环境模型则是定位点在分割线上的水平移动，强化学习的目标是将定位点与车道线对齐。优化函数如下：

(7)

其中，Q表示期望奖励，s表示当前状态，s′表示下一步状态，a表示动作，r表示奖励，α表示学习率，β表示衰减率。

在智能体与环境的交互中，定位点的动作有3种，第一种是定位错误，删除定位点，第二种是定位点向车道线的方向移动，第二种是定位结束。

当定位点的位置偏差较大时，智能体会选择删除这一定位点，以提升定位的效率，删除定位点这一动作的奖励如下，其表示如果定位点删除错误的话，给予智能体-10的惩罚:

RA(s,s′)=-10

(8)

定位点移动的目标是找到车道线位置，在水平分割线上移动时，定位点的移动要么向左要么向右，如果定位点的移动方向是正确的，移动的结果是缩短了定位点与车道线之间的距离，即给予+3的奖励，反之，要给予-3的惩罚，如下：

(9)

定位结束后需要对定位点和车道线的距离进行判断，判断基准为6个像素的长度，如果定位点在移动结束后，距离车道线的距离小于6个像素，即给予+5的奖励，繁殖，要给予-5的惩罚，如下：

(10)

在水平分割线上智能体通过与环境的自主交互完成定位点的精确定位，进而得到车道线的检测结果。

3 实验与分析

基于大规模多样化的车道线检测数据集开展训练工作，一共进行了350 000次时间步的迭代，这里每进行500个时间步的迭代进行一次记录，一共记录下700个数据点。网络模型在训练集和验证集的损失函数变化如图2所示。在经过约200 000次时间步的迭代后，训练集和测试集的损失不再发生大范围的变化，网络模型进入了权重微调的阶段。经过约300 000个时间步的迭代，算法结构的损失变化区域稳定。在训练结束后，网络模型的损失值分别为0.017 63和0.031 72。通过观察确定验证集的损失没有随着训练集损失的减少而出现增加，这说明网络模型的训练没有出现过拟合的问题。

(a) 训练集

(b) 测试集图2 RNN模型训练中参数变化曲线Fig.2 Parameter change curve in RNN training

在递归神经网络训练后，将网络模型通过递归神经网络开展训练，训练中每20个时间步迭代验证一次网络模型的训练结果。网络模型的训练和验证如图3所示。整个训练过程一共开展了约18 000个时间步，随着训练过程的逐步展开，训练集和验证集的奖励函数也逐步增加。因为训练集是每20个时间步进行一次验证，所以验证奖励一共有900个数据点。随机噪声的引入是网络模型在训练中整理奖励水平较低和收敛过程出现大量抖动的原因。在网络模型的验证阶段，没有输入随机噪声，所以验证阶段的奖励水平出现了提升。经过12 000个时间步的迭代，网络模型的训练开始收敛并进入到了权重系数微调的阶段。

(b) 测试集图3 DRL模型训练中参数变化曲线Fig.3 Parameter variation curve in DRL training

在校园交通场景下采集车道线图像，实验设备包括：乘用车、单目摄像头、计算机，数据采集实验中，训练和测试数据分别采集了3 612幅和2 273幅，涵盖不同天气、光照、时间等因素，具备大规模、多样性、合理标注的特征，深度学习框架为Pytorch，训练图像像素尺寸为640×480，权重衰减参数设计为0.000 2，动量参数设置为0.8，数据集部分样本图像如图4所示。

图4 校园场景车道线图像Fig.4 Images of campus scene lane lines

通过训练，噪声容忍的递归神经网络检测算法模型在对测试图像的检测中，实时性、可靠性、鲁棒性都满足设计要求，得到结果参数为：准确性96.33，假阳性0.054 1，假阴性0.018 3，实验结果较为理想。部分校园场景车道线检测结果如图5所示。

图5 校园场景车道线检测结果Fig.5 Detection results of campus scene lane lines

4 结束语

面向园区和校园的封闭自动驾驶实现是自动驾驶技术应用的重要细分场景之一，目前国内外研究中，对校园封闭场景下的车道线检测有所不足，主要是在光照较弱的驾驶视野下，车道线辨别度低，识别准确度差，在没有理想的大规模、多样性以及准确标注的车道线场景图像数据集的情况下，自建数据集中污染标注数据导致数据集利用率不高。

针对目前校园场景车道线检测中存在的不足，本文设计了应用递归神经网络和深度强化学习的局部检测方法。首先进行局部检测，采用经典图形学和基于噪声容忍的递归神经网络的学习模型相结合的方法，对目标车道线的灰度图像进行霍夫变换和灰度拉伸，对算法模型训练学习，以排除梯度信息相似的干扰物，并识别几何属性相关的不完整车道线形态，进而完成补全工作，应用稀疏惩罚，设计具有噪声容忍的递归学习模型，最大效率地利用具有被污染数据标注的自建车道线图像数据集；在前述检测得到的车道线局部区域上进行定位检测，应用深度强化学习算法，通过6个定位点与车道线匹配的方法完成车道线的精确定位，进而得到车道线的检测结果。

通过实验得到的结果参数说明检测的准确性、实时性、可靠性、鲁棒性满足研究要求。