基于多传感器融合的交通数据采集系统概述

2021-02-25严翌

物联网技术 2021年2期

张艺，严翌，李静

（长安大学，陕西西安 710061）

0 引言

多传感器信息融合环境感知技术在提高道路环境感知能力方面具有举足轻重的作用，在目标探测方面，与传统单一的感知相比，道路环境的信息获取能力更高、更准确、更兼容[1]。本文要解决的问题是构建一个交通数据采集系统，使该系统可以实现在低能见度的情况下利用多个传感器准确、实时、有效地检测前方道路环境，对获取到的数据进行融合处理，从而对移动目标（例如行人或汽车）进行精确识别。交通数据采集系统可以为车与车、车与人、车与路侧设备之间的互通提供可靠的信息。

1 交通数据采集系统框架

1.1 设备选型

不同传感器有着不同的特点与性能，使用多个传感器采集多种信息源与数据，从而获得完整、确切、高效的综合信息[2-3]。激光雷达是通过发射的线束扫描周围环境来获得距离信息，从而对周围环境进行感知，但激光雷达对光线变化的适应性较弱，无法获得颜色信息，且价格昂贵，实用性较差。毫米波雷达探测范围广，抗天气干扰能力强，但分辨率不高。相机成本低，检测精度高，但鲁棒性较低。表1列出了常用传感器的优缺点与用途。

交通数据采集系统选取激光雷达、毫米波雷达、全景相机作为主要传感器对环境进行感知，本系统中激光雷达选取镭神CH16的16线激光雷达，毫米波雷达选择Delphi SRR2，相机选择DS-2CD3T46FWDV2-I8S枪型摄像机。

1.2 数据传输

可以对激光雷达采集的数据进行可视化操作，形成激光点云图。相机采集到的数据为二维图像，通过数据线可以直接进行数据传输。毫米波雷达采集的数据为数据帧格式，如图1所示。

表1 不同传感器性能对比

图1 数据帧格式

数据帧由8个字节组成，不同颜色代表不同的message。message的类别由帧ID决定，毫米波雷达可同时识别64个目标，ID范围为500～53F，如图2所示。

图2 数据帧解析界面

将数据帧进行可视化处理，再将可视化后的图像与其他信息融合。Delphi ESR毫米波雷达通过Kvaser将数据帧进行可视化处理，设置界面如图3所示。

图3 数据帧可视化设置界面

数据帧可视化后的界面如图4所示。每一个方框代表一个目标，有绿色交叉线的方框表示系统根据目标速度、加速度等信息将目标判定为虚假目标。

图4 数据帧可视化界面

1.3 融合框架

通过交通数据采集系统获取周围环境信息的关键是将激光雷达、毫米波雷达与相机采集的数据进行有效融合[4-5]。首先将毫米波雷达数据解析之后与相机图像进行融合，确定感兴趣的区域，使用神经网络算法对车辆进行识别，得出结果1；然后将稀疏的激光点云数据进行补全，得到密集点云图，将密集点云图与相机图像进行融合，通过神经网络算法进行目标识别，得到结果2；最后采用D-S证据理论将结果1与结果2进行结果判决，得到最终的目标识别结果。融合框架如图5所示。

图5 融合框架

2 异质传感器空间标定

2.1 相机标定

相机成像会使图像有不同程度的畸变，相机标定的目的是建立一个相机成像几何模型，从而矫正透镜的畸变[6]。要解决这一问题，首先需要建立相机成像几何模型，最关键的就是要得到相机的内参和外参。通过相机标定，可以得到5个内参、3个外参、2个畸变参数，并且这些参数具有高估计精度。通过这些参数，可以对相机图像进行畸变矫正、图像矫正等处理。本文采用张正友标定法（该方法由张正友教授在1998年提出），即一种基于单平面棋盘格的摄像机标定方法，只需要一张打印出来的黑白棋盘格图片即可。该方法不仅能够解决传统标定法进行高精度标定时存在的问题，而且相对于自标定而言，提高了标定精度，可操作性强。

张正友标定法通过棋盘格上8个点的坐标计算出单应性矩阵，从而可以表示出世界平面到图像平面之间的转换关系。

标定用的棋盘格平面到相机图像平面的转换关系为：

式中：s为任意比例因子；R为旋转矩阵，且是一个单位正交矩阵；(R,t)为外参矩阵，ri为R的第i列，t为平移矩阵；A为摄像机内参数。

式中：α和β是图像u和v轴中的比例因子；γ为畸变因子，是描述2个图像轴偏斜的参数。

把A[r1,r2,t]称为单应性矩阵H，即：

一个对应点能够提供2个方程，在矩阵H中有8个未知参数，所以至少需要8个方程进行求解，就至少需要4个对应点，才能算出世界平面到图像平面的单应性矩阵H。

将单应性矩阵写作行向量的形式，行向量中每一个元素为一个列向量，即：

由3个单应性矩阵作为约束条件，计算5个内参参数，得到内参矩阵，最后基于内参矩阵估算外参矩阵。

2.2 坐标系转换

由于相机和雷达安装位置以及采集获取的维度信息不同，不能将三者数据直接进行融合处理，需要先进行预处理[7]。首要的工作就是将检测目标在2个传感器的空间位置上相互对应，为此需建立多个坐标系，分别为激光雷达坐标系、毫米波雷达坐标系、摄像头坐标系、世界坐标系、图像坐标系以及像素坐标系，通过坐标系之间的转化使得三种传感器在空间上彼此对齐。

本文中的坐标系转换可以实现雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系的统一，将雷达获取的车辆信息在视频图像上生成感兴趣区域。图6所示为三维世界坐标系与二维像素坐标系之间的转换关系。相机的成像可以将三维空间中多个相互平行的曲面投影到一个二维平面上，即三维空间到二维空间平面的转换是多对一的映射关系。

图6 坐标系转换

3 多传感器融合算法

3.1 融合算法

数据融合方法可以根据融合层次的不同分为三个层级，即像素级融合、特征级融合、决策级融合。像素级融合作为最底层的融合方法，主要从传感器获取的原始数据中直接提取特征，对同一事物的不同特征进行融合。该操作一般发生在特征提取之前，常用的方法有平均与加权平均方法、基于金字塔变换的图像融合方法、基于Ridgelet变换的图像融合方法等；特征级融合的方法主要有人工神经网络、聚类方法、K阶最近邻法等；决策级融合是图像数据融合的最高层次，它的结果可以作为决策的要素，一般发生在各种传感器独立说明之后，常用方法有Bayes推断、D-S证据推理等[8]。

本文中，雷达与相机的融合采用人工神经网络方法，最后的结果采用特征级融合D-S证据推理进行结果判决。融合层次确定了2个主要问题，一是多源原始图像数据进行预处理的程度；二是在信息处理中的融合层次。

3.2 目标识别

采用YOLO算法对融合后的二维图像进行目标识别。YOLO将对象检测重新定义为一个回归问题[9]。它将单个卷积神经网络（CNN）应用于整个图像，将图像分成网格，并预测每个网格的类概率和边界框。每个边界框可以使用4个描述符进行描述，即边界框的中心、高度、宽度、值映射到对象所属的类[10]。最后对每个类的对象应用一个称为“非最大抑制（Non Max Suppression）”的方法过滤出“置信度”小于阈值的边界框，以此作为目标识别结果的预测依据。

4 实验与结论分析

4.1 实验结果

将交通数据采集装置放置在学校某十字路口段，从早晨9点至10点对来往车辆数据进行采集与预处理后，通过系统的目标识别以及结果判决等过程，得到最终的车辆识别结果。根据图像中的车辆有无遮挡物、车速、车型大小等指标将识别难度分类为简单、中等、困难三个层级，并对三个层级的目标识别结果进行对比，其中结果1为激光雷达点云与相机图像融合后的识别结果；结果2为毫米波雷达与相机图像融合后的识别结果；结果3为结果1与结果2使用D-S证据推理进行判决后的结果。精度值对比见表2所列。