郝非凡,马翔越,李昊洋,刘忠富

(大连民族大学信息与通信工程学院,辽宁 大连 116600)

1 研究背景

大多数自动驾驶系统在现实生活中都存在共同的弊端。例如，极端恶劣天气条件下无法保证安全的驾驶和导航；强光、雪、雾、雨会显著影响用于感知和导航的传感器的性能等。不同传感器都有其固有的优点和缺点。即使在恶劣的天气条件下，雷达可以精准地判断车距和车速，但无法识别街道标志和分辨红绿灯的颜色。相反，摄像头可以很好地识别街道标志和对物体进行分类，如行人、自行车或其他车辆。但是，摄像头很容易被灰尘、雨水、雪等所影响。激光雷达可以准确地探测物体，但它的探测距离和价格都不如摄像头或雷达。

在自动驾驶汽车中，传感器对感知周围环境和定位车辆的路径规划和决策至关重要，目前使用的传感器主要有摄像头、激光雷达、毫米波雷达传感器等。不同传感器的性能各不相同，在不同的使用环境中可以发挥各自的优势。

传感器融合技术就是将多个传感器获取的数据、信息集中在一起综合分析以便更加准确可靠地描述外界环境，从而提高系统决策的正确性。目前，传感器的融合已成为一个研究热点。

2 自动驾驶中常用传感器

传感器作为一种检测装置，在整个自动驾驶系统中具有至关重要的作用，其主要目的是将感受到的被测量的信息按一定规律转换为其它所需形式的信息输出。自动驾驶传感器组成如图1所示。自动驾驶汽车主要利用摄像头，雷达传感器，激光雷达传感器等来感知它的环境。

图1 常见的自动驾驶传感器组成

2.1 摄像头

自动驾驶汽车通常具有摄像机传感器，利用摄像头数据感知周围环境中的物体，以便识别道路上的物体。其工作原理为镜头采集图像后，由摄像头内的感光组件电路及控制组件对图像进行处理并转化为能处理的数字信号，从而感知车辆周边的环境情况，实现碰撞预警，车道偏移报警和行人检测等功能[1]。几乎所有的研发车辆都配备了一些用于检测道路标记的可见光摄像头，用于构建车辆环境的360度视图。但其缺点在于可见光相机在低能见度条件下的能力有限。此外，使用多个摄像头产生大量的视频数据的处理需要大量的计算硬件。

目前自动驾驶系统中主要使用两种摄像头传感器：CCD和CMOS。CCD代表电荷耦合器件，在CCD中，光点是无源的，放大器和ADC也发生在传感器外部。CMOS代表互补金属氧化物半导体，与CCD不同的是，光点是有源的，每个光点都有自己的放大器和ADC。由于CMOS成本较低、功耗较低、数据读取速度较快，所以主要用于汽车应用。而CCD相对于CMOS的优势在于其高光敏度，从而以高功耗为代价获得更好的图像质量，但这会影响散热并且CCD价格高昂。

2.2 激光雷达

在过去的几十年里，激光雷达技术不断发展，目前仍然是高级驾驶辅助系统(ADAS)和自动驾驶汽车的核心感知技术之一。当激光雷达扫描其周围环境时，它将以点云的形式生成3D场景来输出一系列数据(也称为点云数据)，估计脉冲的发射和接收之间所需要的距离。

由于目前激光雷达视野更广、探测距离更远、深度感知更强，可以提供可靠、精确的数据，因此在无人驾驶汽车中应用更为普遍。但与摄像头传感器相比，激光雷达传感器不能提供周围环境的颜色信息，这也是点云数据经常使用传感器融合算法的一个原因[2]。

2.3 毫米波雷达

毫米波雷达(Radio Detection and Ranging, or Radar)是电磁波探测和测距的缩写，其工作原理是在指定区域辐射电磁波，接收目标的散射波(或反射波)，为进一步信号处理提供目标的距离信息。它利用电磁波的多普勒特性来确定探测到的障碍物的相对速度和相对位置，多普勒效应也称为多普勒频移，是指波源和目标之间的相对运动引起的波的频率变化或偏移[3]。例如，当目标向雷达系统的方向移动时，接收信号的频率(短波)增加。

毫米波雷达是自动驾驶系统中最常用的传感器之一，通常用于自动驾驶汽车在白天和夜晚提供可靠和精确的障碍物感知。因为它提供的信息可以检测到移动的障碍物，并可以根据配置模式在短、中或长范围内执行操作，所以它能够在不利天气条件下工作。然而毫米波雷达传感器一般不适合双向识别应用，因为它们的分辨率比较低。因此，自动驾驶车辆研究人员经常将毫米波雷达信息与其他传感数据进行融合，以弥补毫米波雷达传感器的局限性。

3 多传感器融合技术和算法

3.1 传感器融合

传感器融合是大多数自动驾驶系统的一个重要研究方向，例如道路自动驾驶汽车和无人地面车辆(UGV)。该方法将多个传感器采集到的数据进行集成，减少了检测数据的不确定性，弥补了单个传感器独立工作的缺点。此外，传感器融合有助于建立一致的模型，在各种环境条件下准确感知周围环境。例如，相机和雷达融合可以提供高分辨率的图像和感知场景中检测到的障碍物的相对速度[4]。

多个同类或不同类传感器分别获得不同局部和类别的信息，这些信息之间能相互补充，也可能存在冗余和矛盾，而控制中心最终只能下达唯一正确的指令，这就要求控制中心必须对多个传感器所得到的信息进行融合，综合判断。据分析，由自动驾驶引发的安全事故原因中，相关传感器的可能误判成为了主要原因之一。因此在使用多种传感器的情况下，要想保证安全性，就必须对传感器进行信息融合。多传感器融合可显著提高系统的冗余度和容错性，从而保证决策的快速性和正确性，是自动驾驶的必然趋势。

针对自动驾驶汽车环境感知和目标检测的多传感器融合系统，目前，主要有三种用于障碍物检测的传感器组合，包括相机-激光雷达(camera-LiDAR, CL);相机-毫米波雷达(camera-radar CR);和相机-激光雷达-雷达(camera-LiDAR-radar CLR)传感器组合。CR传感器组合提供高分辨率图像，同时获取周围障碍物的额外距离和速度信息。而CLR传感器组合可以提供更大范围的分辨率，并通过激光雷达点云和深度信息精确了解周围环境，提高了整体自主驾驶的安全冗余度系统。

3.2 算法

传感器融合技术和算法在近几年里得到了广泛的研究。目前的技术和算法可分为经典传感器融合算法和深度学习传感器融合算法。

首先，经典的传感器融合算法，如基于知识的方法、统计方法、概率方法等，利用来自数据不完整性的不确定性理论来融合传感器数据。图2所示。

图2 经典传感器融合算法

另一方面，深度学习传感器融合算法涉及生成各种多层网络，使其能够处理原始数据并提取特征，以执行具有难度的智能任务，卷积神经网络(CNN)和递归神经网络(RNN)是感知系统中应用最广泛的算法。目前也广泛应用一种加权均值YOLO算法，用于融合RGB摄像机和LiDAR点云数据，提高目标检测的实时性。2020年4月发布的最新YOLOv4采用CSPDarknet5作为主干特征提取网络，在达到减少计算量目的的同时仍可以保持较好的检测准确率[5]。

此外，随着3D传感器的出现和了解自动驾驶车辆周围的3D环境的各种应用的出现，对3D物体检测的研究也越来越多。随着深度学习神经网络在计算机视觉领域的逐渐成熟，识别和分割三维点云场景成为可能。2019 CCDC提出了一种新的基于PointNet和VoxelNet的场景分割方法来提高语义分割的效率和准确性。首先，采用体素网格方法对点云场景进行采样，然后对点云数据进行滤波去除噪声，平滑点云表面。最后，对处理后的点云场景进行训练。

图3 深度学习传感器融合算法

3.3 传感器融合领域的挑战

毋庸置疑，多传感器融合技术经过广泛研究，在自动驾驶汽车等自主系统中取得了较为全面的优势。这些系统通常配备一组传感器，每小时可以产生大量数据。因此，处理这些数据需要很大的计算能力。

然而，训练来自所有可能场景的数据是具有挑战性的，所以评估所有可能的解决方案和可能的传感器和系统故障风险，以及传感器或系统故障时的替代解决方案，对自主系统进行进一步的研究和广泛测试至关重要。

4 结论和未来的研究建议

本文对自动驾驶系统中的探测传感器进行了较为全面的调查。重点阐述了摄像头、激光雷达传感器和毫米波雷达传感器，以及此类传感器在实践中的运行。最后，回顾了文献中已经建立的一些融合算法，并指出了传感器融合领域的一些挑战和自动驾驶系统未来可能的研究方向。

自动驾驶汽车涉及到的领域十分广泛，其中，传感器是探测车辆周围环境的基础。由于自动驾驶汽车中包含多个传感器，必须在算法处理前通过传感器融合来得到更精确的数值[6]。精确的传感器融合可以使自动驾驶车辆了解其在真实的坐标中的位置。由于传感器融合的精度很容易受到外部因素影响，如：温度，车辆的振动等。因此，提高传感器融合的精度，开发更精确、更可靠的自动驾驶车辆障碍物检测技术是现在以及未来发展的关键。可以通过强化深度学习方法强化现有的传感器融合算法，来开发更可靠和准确的障碍物检测方法。