杨军典　陈凌珊　程书慧

摘要：为了提高智能车观测周围的环境的能力，其感知系统采用多传感器融合技术已经成为一种共识。采用多传感器融合技术可以对环境目标的位置进行融合，核心在于时间和空间对齐，其中空间对齐高度依赖于传感器的标定参数。由于车辆行驶过程的恶劣环境，传感器的标定参数会有失效的风险，从而使空间融合失败。因此，本文提出了一种检测多传感器标定失效的方法，提高智能车的安全性。

关键词：多传感器;标定;失效;检测

【Abstract】Inordertoimprovetheabilityofsmartcartoobservethesurroundingenvironment，ithasbecomeaconsensusthatitssensingsystemadoptsmulti-sensorfusiontechnology.Multi-sensorfusiontechnologycanbeusedtofusethelocationofenvironmentaltargets.Thecoreisthetimeandspacealignment，andthespacealignmentheavilydependsonthecalibrationparametersofthesensor.Duetotheharshenvironmentofthevehicleduringthedrivingprocess，thecalibrationparametersofthesensorwillhavetheriskoffailure，whichwillmakethespacefusionfail.Therefore，thispaperproposesamethodtodetectthefailureofmulti-sensorcalibrationtoimprovethesafetyofsmartcars.

【Keywords】multiplesensors;calibration;failure;detection

作者簡介：杨军典（1990-），男，硕士研究生，主要研究方向：ADAS感知及功能开发技术;陈凌珊（1966-），女，博士，教授，主要研究方向：新能源汽车技术、智能驾驶控制技术。

0引言

随着技术进步，智能驾驶技术飞速发展，对主动安全的要求越来越高。安全性能的提高，离不开感知系统的发展。在这种背景下，智能驾驶汽车会采用越来越多的传感器，采用多传感器融合技术来提升智能车的感知能力。目前配备有ADAS功能的汽车普遍会采用多个摄像头、多个毫米波雷达、激光雷达的感知方案。多传感器融合技术首先需要标定多个传感器的内外参数，从而可以将各个传感器感知到的目标统一到一个坐标系里面进行融合。

传统的传感器标定方法是将待标定的参数分为内参和外参。其中，内参指的是传感器自身的参数，比如相机的焦距、雷达的带宽等，外参主要是各个传感器间的位置关系。一般内参可以直接从传感器厂家获取，因此，标定的主要任务是外参。传统的标定方法有特征点法和棋盘格法[1]，在一个布满标记的标定间里，采用一个高精度的激光雷达获得标记的三维坐标，然后使用低精度的相机或毫米波雷达对标记进行感知，最后使用PNP方法[2-3]求解相机或毫米波雷达的位姿就可以得到其相对位置。这种方法求解过程比较繁琐，并且需要一个高精度的激光雷达提供基准。文献[4-5]直接避开了分别求传感器内外参的过程，采用最小二乘法直接求解相机平面和毫米波雷达平面变换的正应性矩阵。这种方法是将雷达坐标系变换到相机坐标系，并在相机坐标系中对雷达感知到的目标进行融合，然而标定的精度会明显受到相机和雷达感知算法的影响。文献[6]以车辆纵向对称平面为基准，首先将雷达探测面法向量和相机的光轴标定到与纵向平面平行的位置，其余两轴投影到坐标平面分别与车身右侧、车辆前进方向平行。车辆纵向对称平面的确定对这种方法的影响很大，同时在大批量使用过程中，将相机光轴和雷达探测面法向量安装位置与车辆纵向平面平行误差调为较小是一件非常困难的事。

在智能车辆的批量生产过程中，传感器的标定通常根据车辆的CAD数据模型，相对车辆某一零部件固定，从而间接获得传感器的安装位置参数。因此，在这种情况下，必须设置一种简单可靠的检测传感器标定是否准确的方法。除此之外，由于车辆行驶是一个动态的振动过程，传感器的标定参数会随时间发生变化乃至失效。一旦失效，多传感器融合的结果必然会出错，带来安全隐患。因此，本文设计了一种静态和动态检测智能网联汽车相机和毫米波雷达标定是否失效的方法，来预防可能出现的融合风险。最后，利用自动驾驶公司nuTonomy公开的大型开源数据集nuScenes进行了验证。

1检测方法

在智能驾驶汽车上，相机一般安装在后视镜，前向毫米波雷达则放置在前向保险杠里面。雷诺Zoe是nuScenes数据集中测试所用的车辆，各个传感器的安装位置[7]如图1所示。

由图1可看出，在一辆智能驾驶车中，所有的传感器最终都要把感知的目标变换到车辆坐标系上，形成一个以车辆中心的局部3D空间内。由于激光雷达价格高昂，目前仍主要搭载于研究阶段的智能车上面，因此本文主要关注的是前向相机和前向雷达的标定失效问题。

1.1前向相机坐标系及目标位置感知

1.2前向雷达坐标系及目标位置感知

建立前向雷达直角坐标系如图3所示。图3中，Oradar-Xradar-Yradar-Zradar为坐标系的原点和各轴，FOV为雷达的视角。

1.3车辆坐标系

在本文中定义车辆坐标系的原点处于后轴的中心，坐标系各轴的方向如图4所示，并将相机和雷达的坐标系及FOV一起表示出来。

1.4静态检测方法

首先设计一种静态的检测方法，如图5所示。图5中，放置2个小尺寸的铁球，其在车辆坐标系中设置X_car坐标一致，Z_car与雷达的安装高度一致，同时2个铁球之间的距离保持在0.1m左右。

由图5可看出，毫米波雷达背面贴合车身安装，因此主要的安装误差是绕车辆行驶方向的转角误差过大造成的，这样会引起雷达的扫描水平面不平行于车辆坐标系XcarOcarYcar平面。当静态检测时，如果雷达不能同时扫描到2个铁球，那么就说明雷达安装存在较大误差，必须重新标定校准。

同时，因为2个铁球在车辆坐标系中的X_car和Z_car坐标值相同，那么由公式（1）可知，其在像素平面上的v轴坐标一致，即2个铁球在图片中应该保持一条水平线。那么，如果车辆出厂时相机安装位置误差过大，采用上述检测装置拍摄到2个铁球在图片上并不保持在同一条水平线上，那么说明相机的安装位置有问题，需要重新标定校准。

1.5动态检测

静态检测适用于汽车从生产线中装配出来，而后进行抽检来验证传感器的标定是否失效。然而，更重要的是要在车辆行驶过程中，能够实时动态地检测出传感器的标定参数是否失效。借用静态检测的思路，在下面分别提出雷达和相机的动态检测方法。

图6是nuScene数据集相机在某个时刻拍摄的照片，并使用了图形检测框架YOLO5对图片中的目标进行了检测，而且也做了标记。图6中，从左向右第二辆车（以下用Car1代表此车）明显与其它车是分离状态，因此也很容易被雷达发现并聚类为单个目标。在现实场景中，会经常性地存在这样的单个孤立分离目标。

当目标检测出来之后，Car1标记框的左右两侧v坐标是可以计算出来的，物距可以在相邻帧通过PnP算法或激光雷达求解，那么通过公式（1）可算出物体左右两侧的水平坐标，其差值即为Car1被图像所检测到的宽度Wcam，如图7所示。

又因为Car1是一个孤立的目标，那么毫米波雷达对其宽度的感知是非常准确的，设其测量出来的宽度是Wradar。

如果Wcam和Wradar的差距非常大，那么就说明雷达或相机的标定参数已经失效，此时如果继续进行多传感器目标融合的话，必然会发生误差，因此车辆需采取相关措施，使驾驶员介入操作。

2实验

nuScene[7]是自动驾驶公司nuTonomy在互聯网上开源的大型自动驾驶数据集。由图1可知，其传感器包括了1个激光雷达，5个毫米波雷达和6个单目相机，总共记录了1000个场景，每个场景以2Hz的速率采样记录20s的时间。在本文中，主要采用了前置相机和前置毫米波雷达的数据进行验证。下面将以第一个场景第一个采样记录（以下记为采样1）的结果为例进行说明。

2.1标定参数

通过使用nuScenes数据集官方python的nuscens-devkit开发库，可以编写python程序来提取前置相机和前置雷达的标定参数。

传感器坐标系相对车辆坐标系的旋转见表1。为了简洁表示，采用四元数（w，x，y，z）形式。

2.4验证结果

由2.2节和2.3节可知，Wcam和Wradar的结果非常接近，说明相机和雷达的标定参数处于正常的工作状态。

3结束语

本文对多传感器的工作原理进行了探讨，分析了目标融合失效的风险，并且提出了静态检测和动态检测两种方法来规避这种风险，提高智能车的安全性。通过nuScenes的数据验证可知，比较多个传感器检测到的孤立目标宽度，可以实时验证传感器的标定参数是否失效。

未来可以考虑采取多个维度方向上长度的检测，来增加传感器标定失效的鲁棒性，进一步提升智能车的主动安全性。

参考文献

[1]许小徐，黄影平，胡兴.智能汽车激光雷达和相机数据融合系统标定[J].光学仪器，2019，41（6）：79-86.

[2]ZHENGYinqiang，KUANGYubin，SUGIMOTOS，etal.RevisitingthePnPproblem：Afast，generalandoptimalsolution[C]∥Proceedingsof2013IEEEInternationalConferenceonComputerVision.Sydney，Australia：IEEE，2013：2344-2351.

[3]HESCHJA，ROUMELIOTISSI.Adirectleast-squares（DLS）methodforPnP[C]∥Proceedingsof2011InternationalConferenceonComputerVision.Barcelona，Spain：IEEE，2011：383-390.

[4]SUGIMOTOS，TATEDAH，TAKAHASHIH，etal.Obstacledetectionusingmillimeter-waveradaranditsvisualizationonimagesequence[C]∥InternationalConferenceonPatternRecognition.Cambridge，UK：IEEE，2004：342-345.

[5]LIUXianru，CAIZixing.Advancedobstaclesdetectionandtrackingbyfusingmillimeterwaveradarandimagesensordata[C]∥InternationalConferenceonControl，AutomationandSystems（ICCAS2010）.Gyeonggi-do，Korea（South）：IEEE，2010：1115-1120.

[6]罗逍，姚远，张金换.一种毫米波雷达和摄像头联合标定方法[J].清华大学学报（自然科学版），2014，54（3）：289-293.

[7]nuScenes.Carsetupindatacollection[EB/OL].[2020-09-27].https：∥www.nuscenes.org/nuscenes#tutorials.

[8]CAESARH，BANKITIV，LANGAH，etal.nuScenes：Amultimodaldatasetforautonomousdriving[J].arXivpreprintarXiv：1903.11027，2019.

[9]陈伯孝等编著.现代雷达系统分析与设计[M].西安：西安电子科技大学出版社，2016.