倪志康 叶盛波 史 城 潘 俊 郑之杰 方广有*

①(中国科学院空天信息创新研究院 北京 100094)

②(中国科学院电磁辐射与探测技术重点实验室 北京 100094)

③(中国科学院大学电子电气与通信工程学院 北京 100049)

1 引言

随着自动驾驶技术的发展，越来越多的定位方法被应用于确定车辆的精确位置中[1]。普遍使用的车辆定位方法是全球导航卫星系统[2]，但是全球导航卫星系统容易受到城市高楼、茂密植被以及隧道的影响，使得GPS卫星信号的接收受到干扰导致无法定位。另一类车辆定位方法是通过车载传感器(例如光学相机[3]和激光雷达[4]等)感知车辆周围的环境信息来将车辆精确定位在先前记录的高精度地图中，但当环境特征发生变化时，例如在雨、雪、沙尘、强光以及黑暗等环境下，激光雷达和光学相机等传感器会因为无法准确感知外界环境信息的变化导致失效。探地雷达作为一类非侵入式的地下目标探测技术[5]，已经被广泛应用在城市道路病害探测[6]、工程质量检测[7]以及深空探测[8]等众多领域中。由于大多数地下目标在时间尺度上基本保持不变，且受地面上环境变化的影响小，而探地雷达作为一种超宽带雷达，受雨雪、沙尘的影响较小，因此探索利用探地雷达技术感知地下环境实现车辆在恶劣环境下的定位具有重要意义。

将探地雷达技术应用于车辆定位领域目前还处于探索阶段。先前的工作主要将探地雷达搭载在机器人平台上完成对地下目标分布的自动建图[9]，但是都没有将建立好的地图用于机器人的定位。美国麻省理工林肯实验室提出了一种基于先验地图的探地雷达定位方法—定位探地雷达(Localization Ground Penetrating Radar, LGPR)[10,11]，其设计并使用一套包含12个天线单元的频率步进体制探地雷达线阵系统，通过开关控制通道的切换使该探地雷达系统一帧扫描可以收集11个通道的数据。在LGPR建图时，使用该探地雷达线阵系统收集地下目标回波数据和高精度GPS信息来构建地下目标回波数据先验地图。在定位时，将探地雷达系统采集的一帧当前地下目标回波数据与先前构建的先验地图数据计算相似度，输出相似度最高的先验地图数据对应的GPS信息作为定位的结果。林肯实验室提出的LGPR使用频率步进体制的探地雷达线阵系统结构复杂，同时计算探地雷达原始回波数据之间的相似度，容易受到回波数据中噪声、抖动以及异常值等因素的干扰，使得探地雷达在同一位置处两次收集到的回波数据之间相似度可能很低，导致定位误差偏大。同时由于实际地下目标分布一般是稀疏的，在探地雷达回波数据中，目标回波部分只占其中很小一部分，因此直接计算原始回波数据间的相似度会存在很多冗余计算。

本文针对目前基于探地雷达的定位方法使用原始回波数据构建地下目标数据地图鲁棒性差，数据计算量大以及数据传输量大的问题，提出深度学习辅助的探地雷达定位方法。其核心思想是利用深度卷积神经网络(Deep Convolutional Neural Network, DCNN)提取探地雷达回波数据中的目标特征，构建地下目标的特征指纹地图，而不是回波数据地图，计算目标特征间的相似度，提高对离群数据干扰的鲁棒性，同时结合测距轮测量的里程信息，实现多传感器融合定位，减小定位误差。本文的主要创新工作如下：(1)提出使用DCNN提取探地雷达回波数据中的目标特征，构建地下目标特征指纹地图，减小数据的计算量以及数据的传输量，降低异常值对特征指纹地图匹配结果的影响；(2)基于粒子群优化方法加速与特征指纹地图间匹配计算速度，保证定位方法运行实时性，融合测距轮信息和探地雷达定位结果，有效减小定位误差，提高定位精度。

2 算法框架

所提算法框架如图1所示，主要分为离线建图和在线定位两个阶段。离线建图阶段，依靠探地雷达的运动采集地下目标回波数据并使用预训练的DCNN提取回波数据中的目标特征，将目标回波数据特征与采集的地理位置信息相结合，生成用于特征检索的带有地理位置信息标记的地下目标特征指纹地图。在线定位阶段，首先探地雷达会采集当前位置的回波数据并利用预训练的DCNN提取出目标特征，然后利用粒子群方法在特征指纹地图上搜索和当前位置回波特征最相似的特征，并输出对应的地理位置信息，得到探地雷达定位结果。最后通过卡尔曼滤波融合探地雷达定位结果和测距轮的里程信息，输出最终定位结果。

图1 深度学习辅助的探地雷达定位方法框图

2.1 基于DCNN构建地下目标的离线特征指纹地图

在离线构建地下目标特征指纹地图时，假设探地雷达沿着长度为L的测线收集地下目标回波数据Xraw。探地雷达每次采集的数据点个数为M，每道数据间采集间隔(道间距)长度为∆L，则收集到的回波数据Xraw∈RM×N，其中N=L/∆L。数据预处理之后，以大小为M×n的重叠采样窗口将数据矩阵Xraw裁切成切片集合Xpatch= (xpatch,1,xpatch,2,...,xpatch,t)，其中t=「N/∆n⏋，∆n为重叠采样窗口的间隔，xpatch,i ∈RM×n为第i个窗口裁切出的切片，同时获得与切片集合一一对应的地理位置标记集合D=(d1,d2,...,dt)。则地下目标特征指纹地图为Xfeat=(xfeat,1,xfeat,2,...,xfeat,t)，其中xfeat,i ∈Rj×k，xfeat,i= DCNN(xpatch,i)表示从切片数据中使用DCNN提取出j×k维度的目标特征，本文使用的DCNN为Faster R-CNN网络[12]。

由于光学图像的目标特征和雷达图像的目标特征差异较大，且光学图像多为8 bit无符号整型数据，雷达图像多为32 bit有符号整型数据，因此在光学图像上预训练的DCNN网络权重不能运用到处理雷达图像中[13]。本文使用工作频率为270 MHz, 400 MHz和500 MHz的探地雷达在实际城市道路上收集地下目标实测回波数据用于重新训练DCNN，共收集探地雷达B-scan回波图2323张，回波数据图的维度为416 × 416，其中600张回波数据用于测试网络性能。Faster R-CNN网络是一种经典的2阶段目标检测网络，其首先通过主干网提取输入图像的全局特征，然后在提取的全局特征的基础上，区域生成网络和感兴趣区域池化层提取出目标的局部特征[14,15]，最后经过分类网络和位置回归网络得到目标的类别与位置。Faster R-CNN网络不同网络层输出的特征所包含的信息不同，网络层越深提取出的特征越高级，而高层次的语义特征丢失了目标的空间分布信息，因此保留低层次的全局特征以及高层次的局部特征作为输入图像的描述符。在训练阶段，更新Faster R-CNN网络的全部参数，当网络训练好后，固定网络的权重同时去除网络中的分类网络和目标位置回归网络，此时Faster R-CNN网络只用于提取输入图像的全局特征和局部特征。图2显示了Faster R-CNN网络提取探地雷达目标回波数据特征示意图，其中主干网络为VGG16网络，输入雷达图像大小为416 × 416，输出的全局特征向量维度为1 × 1024，局部特征向量维度为5 × 512，数据量减小为原来的2%。

图2 Faster R-CNN 网络提取全局特征和局部特征示意图

在网络训练阶段，前1000次迭代设置初始学习率为0.002，后1400次迭代设置学习率为0.0002，权重衰减和动量大小分别设置为0.0005和0.9。训练完成后，Faster R-CNN网络在测试数据集上对探地雷达地下目标检测的准确率达到90%，说明训练后的网络已经具备提取地下目标回波特征的能力。

2.2 基于粒子群优化的在线定位算法

计算当前回波数据特征与特征指纹地图间相似度的最简单的方法是穷举法，但是随着地图数据库越来越大，计算复杂度也会越高。粒子群优化方法是一种解决最优化问题的启发式算法[17]，能够在很大搜索空间中搜索出候选解，同时对搜索的空间不做任何假设。相对于其他启发式算法来说，粒子群优化方法易于实现且复杂度相对较低，因此本文基于粒子群优化方法加速特征间的相似度计算。粒子群优化方法首先在搜索空间中随机创建没有体积和质量的粒子，每个粒子具有位置属性和速度属性，位置属性代表粒子在搜索空间中的位置，速度属性用于控制算法迭代时粒子位置更新。每个粒子在迭代过程中会向着粒子群已经搜索到的全局最优位置和粒子本身历史最优位置不断接近，不断迭代寻找最优值。随着计算的推移，通过探索和利用搜索空间中已知的有利位置，粒子围绕1个或多个最优点聚集。粒子群优化算法迭代公式为

使用粒子群优化方法搜索当前回波特征和特征指纹地图间相似度的过程可以分为两个阶段：初始搜索阶段和局部搜索阶段。初始搜索阶段在特征指纹地图上搜索和当前回波数据的全局特征最相似的几个候选特征。由于全局特征失去了目标间的空间分布关系，因此在全局特征搜索结果的基础上再搜索局部特征最相似的特征，得到最终搜索结果。

2.3 基于卡尔曼滤波的多传感器融合算法

基于探地雷达的定位方法在不存在地下目标、地下目标回波弱和地下目标分布相似时，由于无法感知到有效的目标信息，因此会存在较大的定位误差，使得定位结果不稳定。卡尔曼滤波是一种对线性系统最优的估计算法[18]，本文在探地雷达获取的定位结果的基础上，利用卡尔曼滤波融合测距轮测量的里程信息，减少探地雷达定位的不稳定性，以实现对车辆高精度的定位。为简化问题，本文假设车辆近似于匀速运动状态，因此可通过车辆的匀速运动方程得到车辆k+1时刻状态g(k+1)和k时刻状态g(k)的更新关系为

利用卡尔曼滤波将探地雷达定位结果和测距轮的里程信息相融合，能够平滑探地雷达定位产生的离群点，减少定位误差的抖动，从而可以获得车辆更为精确的位置。

3 系统参数设置

深度学习辅助探地雷达定位方法系统平台如图3所示，主要包括探地雷达、测距轮、车载平台、地理位置信息采集器以及高性能计算机(图3中未展示)。其中探地雷达为中国科学院空天信息创新研究院自主研发的500 MHz单发单收探地雷达，带有一个编码测距轮。500 MHz探地雷达最大探测深度介于1 m和5 m之间，能够探测常见的城市道路地下埋藏目标，虽然其体积较大，但未来使用的时候可以通过重新设计天线结构和电子学器件来方便集成于汽车底部。100 MHz和200 MHz探地雷达虽然最大探测深度深，但是体积相对于500 MHz探地雷达来说更大且一般城市道路地下目标埋深不会太深。800 MHz, 1000 MHz以及1600 MHz探地雷达虽然体积较小，但是最大探测深度较浅，在一些地下目标埋深较深的场景下可能无法有效探测到目标。地理位置信息采集器采用海星达高精度差分GPS接收器。高性能计算机搭载英伟达GTX 1080 Ti显卡加速DCNN的计算。系统详细参数如表1所示。

表1 系统详细参数

图3 深度学习辅助探地雷达定位系统车载平台图

4 实验结果与分析

在两处不同的室外场景下测试与验证所提深度学习辅助探地雷达定位方法的定位性能。实验场景1如图4(a)所示，为一段60 m × 4 m的水泥道路，其地下每隔约0.5 m分布有埋深约0.2 m的钢筋结构，可提取出的地下目标回波信息多，但是存在一些目标特征分布相似的区域；实验场景2如图4(b)所示，为一段长度约500 m的实际城市道路，地下埋藏的管道目标分布稀疏，还存在一些位置检测不到目标回波。场景1中定位的参考位置使用激光测距仪测得，场景2中定位的参考位置通过高精度GPS接收器获取。

图4 实验场景图

在实验场景1中独立进行6次实验来验证定位方法的定位性能。每次实验中，探地雷达沿随机路线移动约55 m距离，每隔约0.01 m收集一次地下目标的回波数据，经过Faster R-CNN网络提取出地下目标特征之后，建立地下目标特征指纹地图。在定位阶段，探地雷达尽量沿着建图阶段的路线移动，以保证在定位阶段探地雷达能扫过和建图阶段相同的地下目标，定位阶段探地雷达移动距离约50 m。比较回波数据地图定位方法(即利用探地雷达原始回波数据构建回波数据地图来定位)和本文所提方法的实验结果，如图5所示。从图5(a)可知，由于地下目标回波信息丰富，因此所有定位方法的平均定位误差均小于5 m。注意到回波数据地图定位方法受到回波数据微小变化以及异常值的影响大，导致其误差在4种定位方法中最大。通过卡尔曼滤波融合测距轮的里程信息后，回波数据地图方法和特征指纹地图方法定位误差分别降低20%～70%，说明融合其他传感器数据能提升定位性能。由于特征指纹地图的定位方法对回波数据中异常值的敏感程度降低，因此其定位误差在6次实验中均小于基于回波数据地图的定位方法，且加入卡尔曼滤波融合测距轮信息之后，其6次实验的平均定位误差比回波数据地图方法的定位误差减小85%，均小于1.2 m。从图5(b)能看出，本文所提融合特征指纹地图和测距轮信息的定位方法的误差阈值小于1 m的数据占比80%，优于其他方法。由表2可知，仅将单一的探地雷达作为定位的结果时，受限于地下目标回波不明显以及存在地下目标回波相似的区域，定位结果存在跳变，最大定位误差均大于5 m。融合测距轮信息后，回波数据地图定位方法和特征地图定位方法的最大定位误差分别减少15%和80%，而计算量并没有明显增加。本文所提方法的定位频率要比回波数据地图定位方法高出约9倍。

表2 场景1中单次实验下不同方法的最大定位误差和计算时间比较

图5 实验场景1中不同定位方法的定位结果对比图

与场景1的实验不同，在进行场景2实验前先使用探地雷达沿场景2中实际城市道路移动约500 m距离建立地下目标特征指纹地图。在定位阶段，使用探地雷达在6个不同时刻沿着建图阶段的路线移动约500 m距离进行定位，不同定位方法的实验结果如图6所示。可以看到由于实际城市道路场景中地下目标分布稀疏，在一些位置处没有明显的目标回波，导致所有定位方法的平均定位误差均大于1.5 m。虽然可以通过累积大范围内探地雷达采集的数据来减轻地下目标分布稀疏或者地下纹理特征信息相似带来的影响，但是数据计算量和存储量也会变大。回波数据地图方法的平均定位误差最大，仅有30%的情况可以将定位误差控制在2 m以内，虽然融合测距轮的里程信息后误差在2 m内的数据占比提高到53%，但本文所提方法在6次实验中的平均定位误差均小于2.5 m，比回波数据地图方法的定位误差减少70%，同时定位误差小于2 m的数据占65%，定位误差阈值在3 m内的占88%。从表3可以看出仅用回波数据地图时最大定位误差接近30 m，融合测距轮里程信息后最大误差也达到11 m，说明在实际城市道路上直接使用原始雷达回波数据构建地图进行定位的稳定性很差。虽然特征指纹地图定位方法对回波数据变化有鲁棒性，但也受到地下目标分布稀疏的影响，其最大定位误差将近17 m，利用卡尔曼滤波融合测距轮信息后，最大误差相比于融合前减少83%，达到2.82 m，有效地提高了定位精度。同时本文所提定位方法定位频率达到13.11 Hz，满足实时性要求。

图6 实验场景2 中不同定位方法的定位结果对比图

表3 场景2 中单次实验下不同方法的最大定位误差和计算时间比较

图7展示了场景1中1次实验采集的长度约50 m的地下目标特征指纹地图(仅将从回波数据中提取的全局特征作为特征指纹地图)。从图7(a)能看出每个位置提取地下回波的主要特征分布相似，这是因为探地雷达B-scan回波数据间的主要特征很相似(回波数据中主要是收发天线直耦波、地面回波以及地下分层回波)，尤其是在同一个区域收集的回波数据。尽管主要特征分布相似，但是所提出定位方法基于特征向量间的差异。图7(b)是将图7(a)中的特征向量减去其在距离维度上的均值得到的结果，从图7(b)能看出减去均值之后，每个距离上提取的地下目标回波特征存在较大差异。

图7 实验场景 1 中采集的地下目标特征指纹地图

图8展示了场景1中1次实验采集的原始回波数据。在图8(a)和图8(b)中，前25 m采集的地下目标回波数据相似度高，此区域的定位误差较小。与图8(a)相比，在定位阶段图8(b)中25～35 m位置采集的地下目标回波受到杂波干扰，这些异常值的干扰会增大定位误差。图8(b)中40～45 m位置处由于建图阶段和定位阶段路线的偏移导致采集的回波数据和图8(a)相比存在较大差异，这部分差异会严重影响定位精度。

图8 实验场景 1 中采集的原始回波数据

5 结束语

面对常用的视觉、激光等传感器在恶劣环境下会因为无法正确感知外界环境变化而失效的问题，本文提出一种深度学习辅助的探地雷达定位方法，通过探地雷达感知地下基本固定不变的埋藏目标来实现车辆位置的确定。所提方法首先采用Faster RCNN网络提取探地雷达收集的地下目标回波数据中的目标特征，构建地下目标特征指纹地图。然后基于粒子群优化算法计算探地雷达当前采集的目标特征和特征指纹地图间的相似度得到探地雷达定位结果，避免直接使用原始回波数据计算相似度容易受到噪声、异常值等因素干扰的问题，同时减少了数据计算量与传输量，保证定位算法的实时性。最后使用卡尔曼滤波融合探地雷达定位结果与测距轮测量的里程信息，得到更精确的定位结果。在实际城市道路上的实验验证所提方法的平均定位误差比回波数据地图方法的平均定位误差降低70%，定位频率满足实时性要求，且所使用的探地雷达系统易于安装和维护。深度学习辅助的探地雷达方法可以作为一种未来自动驾驶车辆在恶劣环境下感知定位的补充方法。