李晓旋 徐晨苗 徐 源

（长安大学 西安 710018）

1 引言

近年来，大量性能可靠的车道线检测方法被提出，已经能够应对常规场景，但复杂多变的道路状况及光照条件给车道线检测算法带来一定的挑战，在遮挡、阴影及光照影响的场景下，提高车道线检测算法的准确性和适用性，是一个难点问题。

深度学习的发展为车道线检测提供了新方向。Neven等［1］提出一种双分支结构的车道线分割网络LaneNet，并设计了HNet 网络来学习鸟瞰图变换的变换矩阵，便于检测和拟合不同弯曲程度的车道线。Hou等［2］提出了一种自顶向下逐层的自注意蒸馏模块，在不需要任何额外的监督的情况下，提高了车道线检测准确率。ERFNet［3］是一种结合残差连接和分解卷积的语义分割网络，在降低模型计算复杂度的基础上提高了分割精度。本文将ERF⁃Net 网络应用于车道线检测中，其平均F1-measure达到73.08%，运行时间为16.1ms。但在有遮挡、阴影和夜晚的场景中，该方法的检测准确率较低。

充分利用车道线细长的空间结构，是提高车道线检测准确率的关键。Pan等［4］提出了一种空间卷积神经网络（Spatial CNN，SCNN），该方法能有效地获取图像中行和列之间的空间关系，但难以满足实时性要求。而Qin等［5］提出了一种基于结构感知的快速车道线检测算法（Ultra Fast Structure-aware Deep Lane Detection，UFLD），该方法通过对车道线图像网格化，将逐像素分类问题转化成预测每一行车道线的位置，实现了较快的推理速率，但检测准确率低。为了平衡准确率和运算速度，本文将自注意力机制引入到ERFNet 中，提出了SA-ERFNet 网络，在保证实时性的同时提高了遮挡、阴影等场景中的检测准确率。

低照度车道线检测方法主要有低照度增强和基于深度学习的数据增强两类方法。王杰等［6］提出了一种基于双边滤波的Retinex 图像增强算法改善弱光图像。周经美［7］采用改进Gamma 校正对图像预处理，消减光照不均匀的环境干扰，增强了车道线纹理。Liu 等［8］利用RandAugment 数据增强方法和风格转换方法AdaIN，从两个方面对车道线图像数据进行有针对性的增强。SIM-CycleGAN［9］利用生成对抗网络生成弱光条件下的图像，但该方法增加了模型的训练时间，且需要白天和夜晚成对图像进行训练。

零参考样本下的曲线估计网络（Zero-Refer⁃ence Deep Curve Estimation，Zero-DCE）［10］通过估计像素和高阶曲线的动态范围调整给定的图像，仅使用夜晚图像样本即可获得图像的高阶增强曲线参数。本文将Zero-DCE网络应用于夜间车道线检测中，在SA-ERFNet 网络前端进行零参考样本增强，重构出一幅对比度强、视觉质量好的夜间行车图像。

2 零参考样本下的图像增强

2.1 高阶亮度增强曲线

定义像素级的光照增强曲线：

其中，x 为像素坐标，I(x)为图像数据，Α[- 1,1]为可训练的曲线参数。为了解决使用全局参数导致的局部区域过增强或欠增强等质量退化问题，将参数Α定义为与图像同维度的像素级参数。通过不断迭代二次曲线，获得更高阶的曲线，进一步获得更好的增强效果。其迭代公式为

其中，An为第n次迭代的像素级参数，n设置为8。

2.2 深度曲线估计网络

深度曲线估计网络由7 层卷积层组成，前六层进行卷积核为3×3、步长为1 的卷积操作，并使用ReLU 作为激活函数，输出通道数为32。最后一层进行卷积核为3×3、步长为1的卷积操作，采用Tanh作为激活函数，输出通道数为24。网络结构如图1所示。

图1 零参考样本下的图像增强网络结构

图像增强后的结果如图2 所示，可以看出，夜间行车图像亮度提升、视觉效果良好。

图2 图像增强前后对比

3 车道线检测网络

为了减少参数和运行时间，本文将ERFNet 作为基准网络。针对车道线形状细长的特点，本文提出了一种基于注意力机制的车道线检测网络SA-ERFNet，如图3所示。

图3 车道线检测模型

3.1 编码-解码器

编码器由下采样块和Non-bt-1D 块（Non-bot⁃tleneck-1dimension）组成。下采样块将分别经过卷积和最大池化操作得到的特征图在通道维度上拼接，以获取更丰富的特征。Non-bt-1D块将两个3×3 的卷积用两组3×1、1×3 的非对称卷积代替，并利用残差连接融合输入与输出的特征。如图4 所示，其中w 表示输出特征图的数量。为充分利用上下文信息，语义分割网络ERFNet 第9～16 层的Non-bt-1D 块使用空洞卷积，并设置扩张系数为2、4、8、16。

图4 Non-bt-1D块

解码器由反卷积块和Non-bt-1D 块组成。解码器利用提取到的图像特征和语义信息进行学习、推理，对原始图像中的像素进行分类，输出车道线概率。

3.2 自注意力模块

根据方向，将SA 模块分为HAS 模块和VSA 模块，两个模块具有相同的编码结构fsa，如图5 所示，表示水平方向上的编码结构，表示垂直方向上编码结构，两者输入都为编码器输出的特征图，区别在于全连接层Linear2 输出的特征图尺寸分别为C×H×1、C×1×W，其中C 为车道数，H 为图像的高度，W位图像的宽度。对于HSA模块，将输出特征图在水平方向上以尺寸W 扩展为原始图像大小，得到扩展矩阵，其中每一行具有相同的元素值。对于VSA 模块，将输出特征图在垂直方向上以尺寸H扩展为原始图像大小，得到扩展矩阵，其中每一列具有相同的元素值。最后，将HAS 模块和VSA 模块输出的扩展矩阵逐像素相加进行特征融合，得到权重图。

图5 SA网络结构，按方向分为HAS模块和VSA模块

加权概率图的计算公式为Epred=Ppred⊙Msa，其中，Ppred为解码器输出的车道概率图，Msa为SA模块输出的权重图，⊙表示按像素相乘。

4 实验

4.1 数据集

CULane 数据集共有133235 张1640×590 的图像，其中88880 张训练集、9675 张验证集和34680张测试集。CULane 数据集共包含正常、遮挡、夜晚、弯道等9类道路场景。

4.2 实验设置及评价指标

本文实验使用的硬件设备为PC、显卡型号Ge⁃Force GTX 1050ti 6GB、内存16GB，编译环境为Py⁃torch 1.2.0、Tensorflow1.13.2、python3.6。由于GPU内存有限，在训练之前将图片大小调整到820×295。

将拟合的车道线和真实标签进行比较，计算真实车道线与预测车道线的交并比IoU。当该IoU 大于设置的阈值0.5 时，认为预测的该车道线为真正预测正确的车道线，即为TP，否则为FP。本文使用F1-measure为最终的评估标准，其计算方法为

其中，β设置为1，精确率（Precision）计算方法为

召回率（Recall）计算方法为

4.3 实验结果与分析

4.3.1 SA-ERFNet网络有效性验证

为验证SA-ERFNet方法有效性，选择SCNN［4］、UFLD［5］、SAD［2］和ERFNet［3］进行对比，如表1 所示。其中，Crossroad 类仅显示FP，其他类指标为F1-measure。SA-ERFNet 与ERFNet 方 法 相 比，Night 类的F1-measure 增加了0.87%，Crowd 类的F1-measure增加了2.12%，Shadow增加了3.29%，其他类别的检测精度也均有不同程度的提升。实验结果表明，本文的SA-ERFNet 车道线检测方法可以提高遮挡、阴影等场景的检测准确率。

将ERFNet 与SA-ERFNet 进行对比实验，可视化结果如图6 所示。可以看出，SA-ERFNet方法在遮挡、阴影场景下的检测结果更好，但夜间车道线检测结果稍差，需进一步进行夜间行车图像增强。

图6 ERFNet与SA-ERFNet对比结果图

4.3.2 零样本增强+SA-ERFNet 方法的有效性验证

将本文零样本增强方法与SIM-CycleGAN［9］、StarGAN［11］和EnlightenGAN［12］等数据增强方法进行对比实验。其中，车道线检测网络均使用SA-ERF⁃Net，可视化结果如图7 所示。实验结果表明，由于车灯、路灯等光源的综合影响，SA-ERFNet 对车道线区域判断错误，出现了漏检现象。基于风格转换的数据增强方法一定程度上减少了漏检的车道线像素，车道线边界的分割效果和车道线连续性增加，但仍存在车道线的像素点分布较离散的问题。

图7 数据增强方法对比结果图

将本文零样本增强与Retinex［13］、DUAL［14］和AdGamma［15］图像增强方法进行对比实验。其中，车道线检测网络均使用SA-ERFNet，可视化如图8所示。这些算法提升了图像的亮度，但预处理后的结果图像含有明显的伪影噪声，不利于车道线的检测和提取。而本文的零样本增强方法可以有效地解决图像增强后图像存在的伪影问题，并且具有更高的检测准确率。

图8 低照度图像增强方法对比结果图

表2 给出了上述各种方法的检测数据。数据增强方法中，SIM-CycleGAN 方法获得最好的检测精度69.47%。低照度增强方法中，AdGamma 方法获得最好的检测精度69.12%。而本文方法在夜晚场景下表现最佳，F1-measure 达到了69.91%，比数据增强方法的车道线检测结果平均提高了1.92%，比低照度图像增强方法的车道线检测结果平均高出3.41%。

5 结语

本文提出了一种零参考样本下的图像增强和自注意力机制相结合的夜间车道线检测方法。首先，通过图像增强曲线学习低照度图像与增强图像的映射参数，生成清晰度更高，更加自然、逼真的夜间行车图像。然后，在基于语义分割的车道线检测网络ERFNet 中引入自注意力机制，通过预测图像中的遮挡位置提取全局上下文信息。实验结果表明，本文方法在白天正常情况下具有与ERFNet 相当的准确率，而在遮挡、夜晚等复杂场景下具有良好的性能表现。