张育绮 廖志恒 冯岚涛 代苑 李小松

摘 要：针对传统自主驾驶汽车复杂的车道检测、路径规划和运动控制技术问题，基于卷积神经网络设计了一种视觉车道保持系统，该方法可直接从视觉传感器中获取数据以控制车辆转向。基于消失线方法对图像进行区域剪切获取感兴趣区域，解决了训练过程需标记大量的数据集而时间成本高的问题。采用上、下采样结合及色彩空间转换方法进行数据增强，避免了数据不平衡和过拟合现象。最后，结合实际情况修正了转角损失与油门损失权重比。将预处理后的数据馈送到神经网络进行训练，通过仿真实验验证了方法的可行性，实现了基于端到端学习的DIY小车在所设置轨道上的自主驾驶。

关键词：车道保持;端对端学习;卷积神经网络;数据增强

中图分类号：TP391.7  文献标识码：B  文章编号：1671-7988（2020）22-34-03

Abstract： Aiming at the complex lane detection， path planning and motion control technology of traditional autonomous driving vehicles， a visual lane keeping system is designed based on the convolutional neural network， which can directly obtain data from the vision sensor to control the vehicle steering. Find the region of interest based on the vanishing line method. This solves the problem of requiring a large amount of time to mark a large data set during training. The method of up-down sampling and color space conversion is used to enhance the data， which avoids the phenomenon of data imbalance and overfitting. Finally， the weight ratio between the Angle loss and the throttle loss is corrected according to the actual situation. The pre-processed data were fed to the neural network for training. The feasibility of the method was verified by simulation experiments， and the autonomous driving of the DIY car on the set track based on end-to-end learning was realized.

Keywords： Lane keeping; End - to - end learning; Convolutional neural network; Enhance the data

CLC NO.： TP391.7  Document Code： B  Article ID： 1671-7988（2020）22-34-03

1 引言

車道保持是自动驾驶汽车的一个基本功能，相比雷达、激光雷达等传感器，普通彩色相机由于成本低、获取信息丰富，仍广泛用于基于视觉的车道线保持系统[1，2]。基于端到端学习的方法可从原始图片中自适应提取特征，有效避免了人工特征提取的局限性[3]。

2 数据预处理

2.1 基于消失点检测设定感兴趣区域

通过透视投影在世界坐标系中的一组平行线收敛到图像空间中的一个公共点，在二维图像像素平面中，当前行驶车道的终点即消失点（VP）[4，5]。先对原图像进行二值化处理，之后进行Hough变换得到当前车道左、右车道线的斜率和截距为（kl，bl），（kr，br），带入式（1）求两条直线的交点纵坐标，即为消失点。由于CNN仅遍历道路部分，即训练时间成本会降低。

2.2 数据增强

2.2.1 基于上、下采样的数据增强

由于人工误操作致使转角值为0的数据占比过半，转角为-1的数据次之，转角为1的数据只有200个左右，转角在（-1，0）和（0，1）的弯道数据占比极小。采用这类数据训练出的驾驶模型更倾向于直线行驶，左转向过急或者丧失右转向。本文采用上、下采样相结合的方法去解决数据不平衡问题。采样分为上采样和下采样，上采样是把小众类复制多份，下采样是从大众类中剔除一些样本，处理后转角在（-1，0）和（0，1）的小批量且重要的数据明显增强，转角为零的数据量从之前的4900张左右减至700张左右，数据均衡效果明显。

2.2.2 HSV色彩空间转换

本文将图像从RGB颜色空间转换到HSV颜色空间，并分别提取出H、S、V分量，V通道使得白色和黄色车道线特征更加明显，因此选择V通道作为CNN的输入。且将V通道元素分别乘以一个在一定范围内变化的随机值，也即是加入了随机光照噪声，范围越宽，增强帧与原始帧的差异就越大，这样经过CNN训练之后模型对外界环境光照的变化适应性会更强。

2.2.3 添加高斯扰动噪声

神经网络学习高频特征时易发生过拟合，而学习高频特征对模型提升无帮助。采用具有零均值特性的高斯噪声，可有效地使高频特征失真，减弱其对模型的影响。同时会使得低频成分（重要的特征）受到影响，但神经网络能够通过学习而忽略那些影响。当具体给出某一视频帧时，就会获取相应的标记转向角，由于转向方向是一个连续值，所以标记值不一定是唯一工作的方向，稍微不同的转向值都可能会起作用。因此在训练过程中，在标记转向值中随机加入轻微的高斯扰动噪声。通过此方法，在不完全扭曲原始转向值的情况下，在数据中创建更多的变化，使数据信息量更加丰富。

3 CNN架构

通过激活函数f（x）的非线性运算输出特征图Tx。计算公式如（2）所示：

4 实验结果与分析

4.1 仿真实验

在经过CNN训练的端对端驾驶模型进行道路测试之前，首先对搭建的卷积神经网络性能进行评估和对数据预处理方法的有效性进行仿真验证。

基于前期研究发现，损失权重比设置会影响训练结果总损失进而影响实验结果，因此设计四种损失权重比：（1）转角损失：油门损失=9：1;（2）转角损失：油门损失=8：2;（3）转角损失：油门损失=7：3;（4）转角损失：油门损失=6：4。损失值收敛点是训练好的神经网络的一个良好指标，由图1可直观观测出4种情况下训练结果在1000次迭代后均收敛。

综合图2、表1、 2可得出结论：（1）所设计的网络结构和数据预处理方法均满足可行性要求;（2）转角信息对实验的成功率更重要，因此合理控制转角损失与油门损失权重比是提高实验成功率的关键。

4.2 道路测试

通过WiFi实现工作站、智能小车、X-Box和智能手机之间的通讯而进行路试。

综合表3可以得出，智能小车的转角信息更为重要，较大的转角损失与油门损失权重比能提高车道线保持的成功率，又结合表2可知，仿真实验与真实路测得出的结果相同。因此本文所提出的基于端对端学习的车道线保持可以实现。

5 结束语

本文基于端到端学习方法实现了车道线保持，该方法从前置车载视摄像机拍摄的图像帧中自动生成适当的转向角控制车辆。针对传统视觉传感器使用过程中出现的鲁棒性差和神經网络训练时间成本高等问题进行了研究，采用寻找消失线的方法对图像进行感兴趣区域剪切。又针对深度学习过程中出现的数据不平衡、数据信息不丰富以及过拟合等问题分别采取了上、下采样相结合的方法、随机添加高斯扰动噪声和将图片进行HSV色彩空间转换并提取V通道作为CNN的输入等方法对数据进行增强。然后综合实际情况考虑了影响神经网络训练损失值结果的因素，并通过仿真实验和道路实验验证了转角损失与油门损失权重比对实验结果的影响。

参考文献

[1] Broggi A.Vision-based driving assistance[J].IEEE Intelligent Sys -tems & Their Applications，1998，13（6）：22-23.

[2] 周欣，黄席樾，黎昱.基于单目视觉的高速公路车道保持与距离测量[J].中国图象图形学报，2018， 8（5）：590-595.

[3] Schmidhuber，Jürgen.Deep learning in neural networks：An overview [J]. Neural Networks， 2015， 61：85-117.

[4] Simond N，Rives P.Homography from a vanishing point in urban sce -nes[C]//Intelligent Robots and Systems，2003.（IROS 2003）. Procee -dings.2003 IEEE/RSJ International Conference on. IEEE， 2003， 1： 1005-1010.

[5] Miksik O.Rapid vanishing point estimation for general road detection [C]//Robotics and Automation （ICRA）， 2012 IEEE International Conference on. IEEE， 2012： 4844-484.