刘辉，刘聪，韩立金，何鹏，聂士达

（1.北京理工大学 机械与车辆学院，北京 100081；2.北京理工大学 前沿技术研究院，山东，济南 250307）

越野场景下道路条件复杂且多变，大多为半结构化或非结构化环境如草地、林地、山地等，针对路面信息的精确识别能够为无人驾驶车规划与控制提供十分重要的参考信息[1−2].

近年来，通过机器学习对路面进行分类的研究越来越多[3].MOU 等[4]提出了一种使用基于学习的分类器对5 种不同类型的路面（草地、沥青、砾石、路面和室内）进行分类的方法，并根据分类结果控制车辆的速度；通过将振动传感器，视觉传感器和激光传感器这些不同传感器的多个分类器分类结果进行组合，得出最终分类结果.QIN 等[5]使用深度神经网络结构对半主动悬架系统进行路面分类，其网络结构由稀疏自动编码器和softmax 分类器组成.YOUSEFZADEH 等[6]建立了车辆七自由度模型，通过仿真得到车辆在随机路面上的响应，提出基于BP 神经网络进行道路轮廓估计，通过ADAMS 软件进行模拟，验证神经网络对道路轮廓的估计能力.SOLHMIRZAEI 等[7]使用小波神经网络进行道路轮廓估计，使用小波基函数作为网络激活函数，利用Matlab 建立了七自由度车辆动力学模型，训练得到道路轮廓.王鑫等[8]针对履带车辆提出了一种利用距离评估技术提取敏感特征向量，采用BP 神经网络识别路面的方法，搭建了小型履带车试验系统对该方法进行验证，结果表明该方法能够识别不同的典型路面.王振峰等[9]基于改进距离尺度方法和ANFIS神经网络，通过悬架系统的振动加速度识别路面等级，进而为悬架的控制提供理论指导依据.QIN 等[10]通过测量车辆簧下振动加速度信号计算路面功率谱密度信息，然后使用随机森林算法从特定空间频率下的路面功率谱密度曲线特征点数据中进行学习，从而实现对路面类别的划分.

此外，对于车辆前方可通行区域检测技术一直是越野环境感知技术的重点方向[11].GUO 等[12]使用矩形特征颜色直方图从图像的像素颜色中提取特征；KÜHNL 等[13]在颜色特征的基础上，加入对于图像纹理特征的提取；HANISCH 等[14]采用综合考虑图像颜色、形状以及位置特征的特征提取器来对图像特征进行提取.JUNAID 等[15]提出了一种基于多特征视图的浅卷积神经网络（MVS-CNN）.LYU 等[16]提出了一种分布式LSTM 神经网络，用于处理图像和特征图中的行和列.ARDIYANTO 等[17]提出了一种基于编解码网络构型的深度残差合并卷积网络（RCCNet）.LIU 等[18]基于局部数字高程地图（digital elevation map，DEM）、霍夫变换及多模型 RANSAC 方法实现了基于二维激光雷达的路沿检测.

目前，针对越野路面信息识别技术还处于研究初期，存在很多技术难题.文中研究内容为针对越野场景道路环境，设计多传感器数据融合的越野环境路面信息识别算法，实现车辆对于越野场景下路面类型识别与路面通行区域检测.首先，构建融合图像、深度以及簧下加速度信息的越野环境路面类型识别模型.其次，引入迁移学习思想，将越野场景路面类型识别模型中对于路面特征提取的共性知识向通行区域分割模型进行迁移，为模型提供关于越野路面特征的先验知识，以提高模型检测效果.

1 越野场景路面类型识别

越野场景路面类型识别算法整体架构采取卷积神经网络框架，对于来自三个不同传感器的多模态输入数据，分别经由不同特征提取通道进行特征提取，并针对不同特征融合任务通过不同特征融合模块实现多模态特征融合，经卷积层处理后输入全连接层，得到最终分类结果，算法结构如图1 所示.

1.1 实验采集平台

文中测试数据采集平台所配备主要环境信息采集传感器包括1 个32 线激光雷达、1 个单目相机、1组GPS 以及1 个簧下振动加速度传感器.为了在越野场景下获取更加全面的路面信息，在车轮轴上加装1 个簧下振动加速度传感器，用于获得路面激励信息，如图2 所示.

图2 实车数据采集平台Fig.2 Real vehicle data collection platform

1.2 加速度信号特征提取网络设计

簧下振动加速度信号属于一维时域信号，反映了路面不平度对于车辆簧下质量所带来的动力学影响.通过加速度传感器采集车辆在实际越野场景不同类型路面下匀速行驶时的簧下振动加速度数据，从中能够获取重要的路面不平度属性，提升路面类型识别算法的检测精度与抗干扰能力.卷积神经网络对于二维图像输入类型问题具有强大的特征提取与处理能力，在一维数据处理问题中，同样能够通过神经网络方法如一维卷积神经网络、循环神经网络（RNN）等方式从一维时间序列输入数据中提取特征.相较于传统方法通过振动信号计算路面功率谱密度、不平度等信息，从中手动提取特征值并计算识别结果的方法，神经网络在足够的样本训练下，其强大的学习能力能够使其端到端地从振动信号输入中直接进行特征提取并输出路面识别结果.文中选择一维卷积方法作为加速度信号特征提取方式，相比于循环神经网络一维卷积的方式能够更好地提取信号局部信息关系，并且不过多依赖过去时刻输入信号，能够更准确地捕捉当前输入信号特征.一维卷积计算过程与二维卷积相类似，通过一维卷积核在输入特征上以滑动的形式计算并得到输出特征值，如图3所示.

图3 一维卷积计算过程Fig.3 One-dimensional convolution computing procedure

基于一维卷积神经网络的加速度特征提取网络结果如图4 所示，原始加速度信号分别经过3 个由一维卷积、批归一化、ReLU 与池化操作组成的一维卷积模块进行下采样特征提取，得到特征长度逐渐减小、通道维数逐渐增加的一维加速度特征.在一维卷积模块之后，考虑到后续工作中一维加速度信号特征与二维形式的视觉+深度特征在卷积神经网络中的特征融合过程，再将多通道一维特征以二维卷积的方式进行特征提取得到多通道二维形式的最终输出特征.

图4 加速度特征提取网络结构Fig.4 Acceleration feature extraction network structure

1.3 基于双线性池化的深度特征融合算法

对于车辆簧下针对加速度特征与图像+深度融合特征的跨模态特征融合问题，引入基于双线性池化的特征融合算法对多模态特征进行深度融合，使路面识别模型能够最大程度接受并综合来自不同传感器的有效信息以得到更精准的识别结果.双线性池化方法采用张量外积（outer product）形式对来自不同模态特征进行融合.张量外积运算并不等同于空间几何中向量的外积运算，对于两个大小分别为m×1、n×1 的给定向量u、v，记：

以u⊗v表示二者张量外积运算，其张量外积运算结果定义大小为m×n的矩阵A，其中，A中的每个元素为通过将u中的所有元素与v中的所有元素相乘得到，这个过程也可以等价于向量u与向量v的转置相乘.

以图像特征融合为例，双线性池化特征融合算法流程为：对于图像I在l位置的由不同特征提取器所得到的两个特征fA(l,I)∈RT×M与fB(l,I)∈RT×N，首先通过双线性操作以外积相乘方式得到融合矩阵如下所示：

式中：fA、fB为不同特征提取器所对应的变换函数；M、N分别为两个特征的通道数；T为该位置上特征在每个通道所具有的维数.对于卷积神经网络中通过卷积操作得到的图像特征，在每个通道上特征图都是一个二维矩阵，其在特定位置l上的特征值为一个单独的数，因此对于图像特征T= 1.

然后，对所有位置的融合特征b进行求和池化操作得到矩阵 ξ(I)：

最后，将矩阵 ξ(I)展平为一维向量x，对x进行矩归一化操作与L2 归一化操作后得到最终融合特征z：

由于双线性池化使用外积的方法对不同特征进行融合，这使得其能够实现对不同特征的所有参数之间的交互表征，对于不同提取器所得到的特征乃至于不同模态输入所提取特征间的融合都具有十分优秀的效果.

2 基于迁移学习的路面可通行区域分割

2.1 图像-深度特征融合模块

文中所设计深度学习路面可通行区域分割模型中，除了使用图像数据作为模型输入之外，还同时考虑了由激光雷达点云数据投影得到的具备环境空间信息的深度图数据作为模型联合输入，从而使模型能够综合视觉信息与空间信息对可通行区域做出更准确划分.为了实现多传感器信息融合的路面可通行区域分割模型，构建适合图像与深度数据的有效特征融合方法，文中基于SE 算法中所提出的通道注意力机制，设计考虑多模态特征通道关系的MSE 特征融合模块.

2.2 路面分割卷积神经网络模型结构

构建多模态输入融合的可通行路面区域分割深度学习模型，模型结构参考DenseNet 等网络模型中密集跳跃式网络结构的设计思想.路面分割模型以视觉图像与激光雷达深度图作为输入，网络主体构型与U-Net 网络相似，由特征提取下采样与上采样特征还原两个主要部分构成，这种构型也被称作编码器−解码器结构.首先通过RGB 图像编码器网络与深度图像编码器网络分别对图像与深度图进行特征提取，并利用融合模块将不同模态特征进行融合；在解码器网络上采样阶段，以密集跳跃的网络连接形式再次融合编码器中所提取的融合特征并逐渐恢复图像分辨率，最后通过sigmoid 层得到网络最终分割结果，网络模型结构如图5 所示.

图5 网络模型结构Fig.5 Network model structure

2.3 基于域适应迁移学习的可通行区域分割模型

为改善由于越野场景路面分割数据集数据量规模较小所造成网络难以得到有效训练的问题，文中通过迁移学习方法将路面类型识别模型通过学习到的特征提取知识向路面分割模型编码器特征提取网络共享，使网络增加对于路面特征提取的先验知识以辅助路面分割任务.为了实现拉近不同任务领域特征分布距离，使分割网络学习约束网络中对于路面信息的共性特征提取知识的目标，在分割网络中增加表征特征偏移的距离损失项Ldist.损失函数Lseg采用交叉熵损失函数以表示对于输入样本(Irgb，Id)的预测分割结果与标签值之间的差异：

式中：M、N为图像宽度与高度尺寸；C为像素类别数；Iij为指示函数；pij为网络sigmoid 函数输出预测结果.

在此基础上，增加约束网络来对网络特征分布偏移进行约束.以G、M分别表示约束网络与分割网络特征提取器网络通道，对于同一组路面图像与深度图输入样本(Irgb，Id)，约束网络与分割网络分别得到提取特征G(Irgb，Id)、M(Irgb，Id).使用两个特征图之间的距离表征其领域偏移损失：

由此，构建迁移模型训练时的联合损失函数为

基于域适应迁移学习方法不但可以使模型输出结果值与样本标签值之间的误差减小，而且能够减小编码器网络输出特征与约束网络输出特征的差异，实现将约束网络中对于路面数据的共性特征提取知识向编码器特征提取网络进行迁移的目的.为了实现拉近不同任务领域特征分布距离，使分割网络学习约束网络中对于路面信息的共性特征提取知识的目标，在分割网络原有的对于标注标签的损失函数Lseg的基础上，增加表征特征偏移的距离损失项Ldist.基于域适应迁移学习的路面分割模型结构如图6所示.

图6 基于域适应迁移学习的路面分割模型示意图Fig.6 Schematic diagram of the pavement segmentation model based on domain adaptation transfer learning

3 测试结果与分析

3.1 越野路面类型识别测试

在实车数据采集平台下，针对内蒙古包头地区对不同季节、不同时间段越野场景常见类型路面数据进行了采集，路面类型包括土路、草路、雪路、砂石路、涉水土路以及部分水泥路和柏油路段.通过采集数据对样本所对应真实路面类别进行标注制作了路面类型识别数据集，数据集中各类型样本数量如表1 所示.其中，将所有数据按照60%、20%、20%的比例分别随机划分为训练集、验证集以及测试集，模型在训练过程中将加载训练集数据进行训练并通过梯度下降算法更新网络参数，使模型能够逐渐学习并减小预测结果相对于训练集数据实际标签值之间的误差.

表1 路面类型识别数据集样本统计Tab.1 Sample statistics of pavement type identification datum set

为了探究所设计特征融合算法在网络中的作用，设计消融实验对模型在采用与不采用特征融合模块的情况下的检测性能分别进行测试.保留网络其他结构与参数设置，以不使用MSE 与双线性池化融合模块的基线网络作为参照，分别对比各融合模块单独使用与共同使用使的模型表现.其中，BaseLine 基线网络选择最基础的元素相加与元素相乘方法替代路面类型识别模型中的MSE 与双线性池化融合模块对多模态特征进行融合，测试结果如图7 所示.

图7 消融实验测试结果Fig.7 Test results in ablation experiment

从测试结果中能够看出，相较于原始BaseLine网络，两种特征融合模块分别加入后均能使模型准确率有较明显提升，在同时使MSE 与MUTAB 双线性池化特征融合方法时模型准确率最高，证明了所提出的特征融合方法对于多模态特征融合的有效性，相比于元素相加与元素相乘方法能够更加充分提取与利用不同模态特征间的相关性，使模型能最大程度从多源输入中获取有效信息，提升综合准确率.在模型计算效率方面，由于MSE 模块的轻量级网络结构设计，在网络中加入该模块所增加额外计算参数量较小，模型的额外计算时间相比于原始模型几乎没有明显增加，能够在提升特征融合效果的同时保持较高的计算效率；MUTAN 双线性池化模块相比于原始双线性池化算法在参数量方面进行了很大的优化，在测试结果上MUTAN 方法的引入会使模型计算时间小幅度增加，最终的综合模型相较于原始模型虽然在平均计算时间上有一定增加，但是能够在较小程度牺牲计算效率的情况下大幅提升模型准确率，能够基本保证计算实时性，综合性能最优.

为了验证文中提出的多传感器融合模型对复杂越野场景路面类别识别的优越性，文中将融合图像、激光雷达和簧下振动加速度信息的多传感器数据融合路面类型识别模型与单独图像输入模型以及图像+激光雷达深度信息输入模型进行对比验证.其中，对比模型只删去对应数据输入与特征提取网络通道，保留网络其他结构与超参数设置，在同样的越野场景路面识别数据集下进行训练与测试，对比测试结果如图8 所示.

图8 识别准确率Fig.8 Identification accuracy

从测试结果中可以看出，对于单独图像输入的路面识别模型，其准确率已经能够达到94%以上，说明对于很大一部分情况下，仅图像输入模型已经能完成较好的识别效果.但在对于特定情况如土路、砂石路等场景会出现较大的误检率，由于模型只使用图像作为输入，无法获得精确的空间维度信息，对于在图像特征上表现差异较小的路面类型难以做出准确的区分.融合图像与激光雷达深度数据的路面识别模型在对各个路面类型的识别准确率上均有全面提升，但在对于水泥路与柏油路、土路与砂石路的区分准确率上仍与文中提出的模型有较大的差距.这是因为激光雷达所得到的深度输入数据使得模型拥有了感知空间信息的能力，能够对仅凭图像难以区分的场景做出更准确的判别，但是受限于激光雷达测量精度与误差影响，对于部分类型路面的识别仍有较大误差.文中所提出的融合算法引入了簧下振动加速度传感器所获得的垂向加速度数据，有效地解决了这一问题.在越野场景路面类型检测任务中表现更佳，平均分类准确率达到了98.65%，其中模型对于草路、柏油路以及雪路的检测精度都达到了99%以上，对于特征较为明显的雪路识别准确率达到了100%.

3.2 可通行区域识别测试

为了验证基于迁移学习的越野路面可通行区域识别方法的有效性和优越性，在越野场景数据集下分别对基于域适应迁移学习的路面分割方法与无迁移学习的路面分割方法进行对比验证，并且进行了单类型路面以及多类型路面的分割测试试验，如图9～图12 所示.测试结果表明采用迁移学习方法能够较为有效地提高模型在单类分割任务中的准确率，证明了迁移学习方法令模型的下采样特征提取网络通道能够共享分类模型中所学习到的通用特征提取知识，使模型在同一数据下获得表现效果提升.在多类型路面场景下，通过迁移学习共享信息后模型表现效果也取得显著提升，对于多类型分割任务可以获得更高的像素准确率.相比于未使用迁移学习模型的检测结果，可知文中所提出的方法能够对可通行区域做出更准确的划分与类型判别，这说明迁移学习方法能够有效地实现将大量数据训练下的分类模型中所学习到的部分路面类别特征提取知识复用到多类型分割模型中，从而减小模型对于路面区域类别误判概率，提升模型对路面区域检测精度.

图9 单类型路面可通行区域分割结果（未使用迁移学习）Fig.9 Division results of access area for single-type pavement (without transfer learning) (without transfer learning)

图10 单类型路面可通行区域分割结果（使用迁移学习）Fig.10 Results of single type pavement access area division (with transfer learning)

图11 多类型路面可通行区域分割结果（未用迁移学习）Fig.11 Division results of multi-type pavement accessible areas (without transfer learning)

图12 多类型路面可通行区域分割结果（使用迁移学习）Fig.12 Segmentation results of multi-type pavement accessible areas (with transfer learning)

4 结 论

文中提出一种基于多传感器融合的越野环境路面信息识别方法.构建了融合图像、深度以及加速度信息的多传感器数据融合越野场景路面类型识别模型，设计基于一维卷积神经网络的加速度信号特征提取网络结构，并通过双线性池化方法以实现多模态特征的有效融合.然后，提出一种基于域适应迁移学习的越野场景可通行区域分割方法，将越野场景路面类型识别模型中对于路面数据特征提取的共性知识向路面分割模型迁移，以实现增强路面分割模型编码器网络的特征提取能力，从而提高模型检测精度与泛化性.在真实越野场景数据集下进行测试验证，测试结果表明所提出的越野环境路面信息识别方法对于越野路面类型以及可通行区域分割具备较高的识别精度，为后续越野环境下无人驾驶车辆规划与控制器开发提供环境感知基础.