吴开阳， 秦文虎， 云中华， 师威鹏

(东南大学 仪器科学与工程学院，江苏 南京 210096)

0 引 言

在自动驾驶技术中，3D多目标检测跟踪技术是当前的研究热点之一，其主要目的是对车辆周围环境中物体的位置、速度、大小等状态进行估计与预测。得益于近年来3D目标检测技术[1,2]的快速发展，3D多目标跟踪技术[3～5]也有了较大的进步。

然而,目前许多研究重视提高检测与跟踪的精度，但忽略了计算时间成本并增加了系统的复杂性，给目标的检测与跟踪带来了一定的不利影响。本文在考虑自动驾驶应用场景实际需求后，提出了一种快速而准确的3D检测跟踪技术。

该技术结合3D体素卷积神经网络(CNN)和点云提取的特征进行全面特征学习，以实现3D多目标检测；利用具有恒定线速度和角速度的过程模型，并结合3D卡尔曼滤波器进行状态预测与更新；在数据关联中利用马氏距离[6]与贪心算法对预测目标和实际目标进行匹配，且对离散点加以进一步的关联检测，增加3D多目标跟踪的鲁棒性。同时结合时间戳信息，通过逐帧过滤目标检测器中的异常值来实现帧与帧之间的数据关联，以对每个目标进行实时跟踪。

1 3D多目标检测与跟踪

1.1 系统总体架构

为提高3D多目标检测与跟踪的精确度，本文结合3D目标检测算法与3D多目标匹配方法两个方面进行研究，所设计的方案流程主要分为如下4个步骤：1)融合基于体素和基于点云的方法，将检测到的3D目标使用包围盒框选呈现；2)通过前一帧的目标状态，利用3D卡尔曼滤波预测当前帧的目标状态；3)使用数据关联方案将检测结果与预测结果进行匹配；4)根据检测结果，利用3D卡尔曼滤波更新目标状态。

为提高算法安全性，在上述步骤之后，需对未匹配的目标做进一步判断。如检测对象未匹配则可认为是进入兴趣区域内的潜在目标，为避免将其误判，需对连续检测到的未匹配对象创建新目标。同时，将不匹配的跟踪目标认为是离开兴趣区域的潜在目标，为避免由于某些检测帧丢失而删除真正目标，故只对连续匹配失败的跟踪目标进行目标删除。方案总体架构如图1所示。

图1 3D多目标检测跟踪方案总体架构

1.2 3D目标检测

3D目标检测主要分为候选区域选择与微调关键点两步，具体架构如图2所示。

图2 3D目标检测架构

在第一步中，首先,利用最远点采样法对点云数据进行筛选;然后,利用基于体素的方法得到候选区域，即采用体积较小的体素进行分割，并利用体素特征编码提取出每个体素的特征，再将特征输入至3D卷积网络中进行下采样，依次对特征进行升维，非空体素的特征值即为内部所有点特征值的平均值。第二步是关键点特征微调，首先,利用分层提取特征思想与集合抽象化方法，动态选择具有代表性和判别性的特征，以突出对象特征、抑制杂波，并将所有提取到的特征融合在一起;接着,结合体素自适应处理后的特征，作为关键点的总特征，以获得更丰富的语义信息，有助于模型更好的回归;最后,进行消融实验，确认目标检测的结果。

为降低背景中关键点特征对微调步骤的影响，接下来对关键点进行权重预测，通过训练两层感知机，使模型可以区分出前景点和背景点，并对背景点赋予较小的权重。

1.3 3D目标状态预测

为预测目标的状态，利用恒定速度模型近似目标的帧间位移，每个3D目标的运动状态可用一个11维向量S=(x,y,z,θ,l,w,h,vx,vy,vz,vθ)进行表示，其中,(x,y,z)为目标的3D坐标中心，(l,w,h)为目标的3D大小，(vx,vy,vz)为目标在3D空间中的速度，θ为航向角，vθ为角速度，t为当前帧，t+1为预测帧。目标的11维动力学模型如式(1)所示

(1)

由于新一帧的误差与上一帧的状态有关，故将上一帧的测量值乘以一个高斯变量作为新一帧的噪声。式(1)中，线性加速度和角加速度模型的随机变量Δ服从均值为零、协方差为Q的高斯分布，并假设线性速度、角速度和目标的大小在预测过程中不变，即所有变化发生在状态更新步骤中。

卡尔曼滤波预测步骤如式(2)所示

(2)

(3)

1.4 数据关联

(4)

由于目标在实际场景中水平移动，且不可能在短时间内完成180°的航向角变化，故当检测目标状态与预测目标状态的航向角相差90°～270°时，先将预测的目标状态航向角旋转180°，再计算马氏距离，一般这种情况是因为检测器输出了不正确的目标方向，或是数据关联错误所导致。最后，利用带有上限阈值的贪心算法解决目标匹配问题。

1.5 3D目标状态更新

在准确的数据关联之后，使用式(5)更新t+1时刻的真实状态均值和协方差

(5)

式中K为卡尔曼增益，I为单位矩阵。

在上述步骤后，将当前帧的目标状态更新数据传入下一帧中，作为下一帧目标状态预测初值，依次传递以实现3D目标的实时检测与跟踪。

2 实车实验测试

实验采用速腾聚创16线激光雷达进行测试，该雷达采用混合固态激光方式，集成16个激光收发组件，测量距离为150 m，测量精度在2 cm以内，出点数高达320 000点/s，转速在300～1 200 r/min，垂直测角30°。实验在东南大学四牌楼校区采集了部分场景的点云数据，图3(a)为采集数据所用到的自组装小车，图3(b)为实验路线所对应的卫星图及采集路线。由于激光雷达垂直检测角度为30°，在采集数据时，距离激光雷达非常近的目标将处于激光雷达扫描盲区内，又因激光线束有限导致离激光雷达较远目标的点云数据十分稀疏，极大地影响检测与跟踪的效果。

图3 自组装小车与采集路线示意

实验中设定训练数据分类只包含车辆与行人两类，且未对其余障碍物进行准确识别。实验采集的实际场景点云数据图如图4(a)所示，所提检测方法的实验效果如图4(b)所示，跟踪方法的实验效果如图4(c)所示。

图4 实验结果

从图4(a)中可以看出，点云数据包含实验所需检测的行人与车辆。图4(b)可以看出，该检测算法准确地检测出了行人与车辆，但仍然存在一些不足，如非常靠近激光雷达的行人由于部分身体进入了激光雷达扫描盲区导致部分点云数据丢失，没有被准确检测，同时由于激光雷达扫描地面所形成的地面点将路边车辆连在一起，导致检测算法错误地将多辆车检测为一辆。图4(c)可以看出,所提跟踪算法准确地跟踪了3D场景中的多个目标，并将跟踪目标准确地框出并依次编号，图4(c)中被分类为“Unknown”目标的为路边障碍物，不属于行人或车辆。

综上所述，该实验方法在实车实验中有着不错的结果，能够有效对3D场景中的多目标进行检测与跟踪。

3 实验对比分析

为验证本方法的泛化性能，在NVIDIA GeForce GTX 1050 TI GPU环境下，利用智能驾驶著名数据集—KITTI[7]，进行了验证测试与结果的对比。

3.1 3D目标检测

实验采用KITTI数据集官方发布的评估工具进行评价，具体评价指标为检测识别的平均精度。实验中，根据遮挡情况、最小包围盒像素值大小以及最大包围盒重叠比例，将数据集分为简单、中等、困难类别，具体分类如表1所示。

表1 数据集分类标准

表2给出了常用的3D目标检测算法结果，并与本文实验结果进行了对比。

表2 3D目标检测算法对比

由表2可以看出，本文所提方法在中等和困难类别中，明显优于仅基于体素或仅基于点云的检测算法，在简单类别中也有着不错的表现，处理数据所用时间处于中等水平。

3.2 3D目标跟踪

由于MOTA和IDF1评价标准过于强调目标检测模块的重要性，而忽略了数据关联与状态更新模块，故实验采用2021年2月25日更新的KITTI 最新3D多目标跟踪评价工具[10]对各系统进行评估，评价标准分别为高阶跟踪精度(HOTA)、关联准确率(AssA)、联合召回率(AssRe)、联合精确率(AssPr)、定位精度(LocA)。HOTA评价标准则准确测量各模块的误差，以一种平衡的方式组合它们，并整合了跟踪结果的定位精确度。其具体计算公式如式(6)所示

(6)

式中α为定位阈值，TP为将正类预测为正类，FN为将正类预测为负类，FP为将负类预测为正类，TN为将负类预测为负类，TPA为将正确数据关联评价为正确数据关联，FNA为将正确数据关联评价为错误数据关联，FPA为将错误数据关联评价为正确数据关联，TNA为将错误数据关联评价为错误数据关联。

表3为常用的3D多目标跟踪算法结果。

表3 3D多目标跟踪算法对比 %

由表3结果表明，本文所提方法在关联准确性和联合召回率上明显优于其他算法，尤其是联合召回率有着显著优势，比AB3DMOT算法高出了3.44 %，同时在高阶跟踪精度、联合准确率和定位精度上也有着不错的表现。

根据式(6)计算得出不同定位阈值对应的评价指标结果如图5所示，可以看出大部分评价指标随着定位阈值的增大而逐渐趋向于0，仅定位精度随着定位阈值的增大而逐渐趋向于1，因此，定位阈值对跟踪性能也有一定影响，需根据实际情况选取。

图5 不同定位阈值的评价得分结果

4 结 论

本文方法通过高效的方式融合体素和点云的3D信息，提高了复杂场景下3D多目标检测的准确率；采用带有上限阈值的贪婪算法解决二分图匹配问题，加快了数据关联的匹配速度；利用马氏距离计算匹配度，综合提升了3D多目标跟踪的准确率。经在东南大学进行的实车实验，验证了该方法能够有效对3D场景中的多目标进行检测与跟踪。为进一步进行效果对比，本文方法还利用KITTI数据集进行了实验，结果表明：该方法对基于激光雷达的3D多目标检测与跟踪精确度有一定的提升作用，有助于在智能驾驶中提高车辆的检测跟踪与安全性能，具有一定的实用价值。