陶武康

(广汽埃安新能源汽车股份有限公司 广东广州 510000)

露天采矿是矿山资源的主要开采方式之一，而矿石的开采及运输是露天采矿生产的重要工作。露天采矿工程中所用到的车辆种类繁多，通常包括矿山卡车、装载机、推土机、挖掘机等[1]。作为露天矿山运输的主要形式之一，大吨位矿山卡车由于车体庞大，存在很大的视觉盲区。此外，采矿现场的分布情况为点多、面广、占线长，因此经常导致追尾、碾压等事故的发生[2]。

针对矿山卡车的防撞问题，相关技术人员提出了一系列的解决方案，主要可分为基于毫米波雷达的方法[3-4]、基于视觉测量的方法[5]、基于GPS定位的方法[6-7]和基于无线定位的方法[8-9]。韦海良等人利用毫米波雷达探测本车与前方矿山车辆或设备之间的距离与速度，并根据雷达数据控制车辆制动或发出预警信息[3]。但是采矿卡车本身的车体宽度普遍大于3 m，毫米波雷达由于发射角的限制在车辆近距离范围内存在较大的盲区[10]。牛犇等人提出一种利用单目视觉测距模型实现实时测距，根据测距结果实现井下矿车预警的方法[5]。然而，由于露天矿山道路环境恶劣、灰尘浓厚，因此很难通过机器视觉的方法检测运动的障碍物。史海平提出一种通过MESH无线通信网络将被监控矿山车辆的GPS 信息统一发送至控制中心，然后控制中心判断车辆间相撞的可能性并通知被监控车辆[6]。可是由于环境干扰因素较多且民用GPS自身的定位精度为米级，导致矿山车辆的定位精度出现较大的误差。张天峰提出一种RF射频与C-V2X车联网多种技术实现超速报警、防碰撞预警等关键功能[8]。虽然该方法具有较高的定位精度，但是需要部署大量的传感器。

综合分析以上方法的优缺点并结合前人的研究经验，该文提出了一种基于毫米波雷达与广角鱼眼摄像头视觉结合的预警系统，用于辅助驾驶员对周围环境做出更准确的判断。该系统利用毫米波雷达采集卡车前后障碍物信息，然后通过蜂鸣器与用户UI界面实现对障碍物的实时五级预警。同时，为了消除车辆近距离内毫米波雷达的盲区，该系统利用鱼眼摄像头采集车辆前后场景经过去畸变及裁减后在屏幕上实时显示。

1 系统概述

该系统的整体架构如图1所示。该系统以恩智浦公司的车规级IMX6为控制器，结合Linux3.0.35操作系统以QT5.5.1 为开发工具开发。此系统主要分为毫米波雷达测距模块、前后鱼眼摄像头显示模块、碰撞预警及显示界面模块三大模块。前后鱼眼摄像头经过去畸变后实时监控车辆前后的状况，当车辆前后出现障碍物时，蜂鸣器及预警显示界面会根据距离的远近以不同的工作频率预警。

图1 系统整体构架

1.1 雷达测距模块设计

该文针对露天矿车的应用场景，综合对比了毫米波雷达、超声波雷达及激光雷达的优缺点，选取纳雷公司的CAR70 毫米波雷达，具体如图2 所示。该雷达有效探测距离为30 m，探测角度为120°，并且支持CAN接口，符合ISO11898-2标准，传输速率为500 kB/s。

图2 CAR70毫米波雷达

在该系统的应用中，前后毫米波雷达安装在车辆前后保险杠中间位置，距地面高度为1.5 m，雷达天线面与车身平行。CAR70 雷达向周边发射雷达信号，返回信号经过滤波及多步处理后即可获取目标组的轨迹信息。目标信息的相对速度和位置通过CAN 接口传输[11]。目标消息输出结构及目标消息描述如表1所示。

表1 目标消息描述

目标报文信息由8 个字节64 位组成，包含障碍物序号Barrier_Index、反射面积Barrier_RCSValue、距离Barrier_Range、角度Barrier_Azimuth、速度Barrier_Verl、信噪比Barrier_SNR。报文信息的真实值可通过表1的计算公式得到。

在Linux 系统中，CAN 总线接口设备作为网络设备被系统进行统一管理。在控制台下，CAN 总线的配置和以太网的配置使用相同的命令。采用SocketCAN实现通信，具体步骤如下。

（1）打开CAN口，配置波特率为500 kB/s；（2）进行初始化，具体包括创建套接字、指定CAN设备、设置帧ID、设置帧形式、将套接字与CAN 设备绑定；（3）通过循环不断地读取CAN口的数据；（4）解析CAN数据，根据表1所描述的CAN协议解析障碍物的信息。

1.2 前后鱼眼摄像头显示模块设计

该文考虑到矿车车体宽度一般大于3 m，普通摄像头的水平视角不到40°，不能看到车体的两侧，因此采用了SENSOR 为AHD SONY 225 的鱼眼摄像头。该摄像头的水平视角为180°并具有夜视功能，经过去畸变后可达到水平视野大于6 m，从而有效地解决车辆前后近距离内的盲区。该文采用Scaramuzza提出的折反射模型作为鱼眼相机成像模型来生成去畸变MAP[12]。折反射模型坐标系设定如图3 所示。其中(X'Y'Z)表示世界坐标系，(x'y'z)表示相机坐标系，(u''v')为感光面坐标系，(u'v)为图像像素坐标系。由世界坐标系到相机坐标系的转换模型为外部模型，与相机的安装位置有关，涉及参数称为外参；由相机坐标系到图像坐标系的转换模型为内部模型，与相机的内部构造有关，涉及参数称为内参。

图3 模型坐标系

如图3（a）所示，空间中一点P经过相机模型变换后在感光平面上成像为P'，其转换方式如公式（1）所示。

公式（1）中，λ为尺度变换因子，T为相机外参，即世界坐标系到相机坐标系的转换矩阵，f(ρ)为包含相机畸变参数的非线性投影函数，用泰勒级数展开多项式表示为

公式（2）中，ρ=表示投影点至感光面中心的距离；a0'a'…'an为多项式系数，表示相机畸变参数。

感光面坐标到图像坐标的映射需经过仿射变换和中心偏移，关系式为

公式（3）中，m为像素坐标，A为仿射变换矩阵，t为平移矩阵，c、d、e为仿射变换系数，uc、vc为图像中心。

将公式（2）与公式（3）代入公式（1）中即可得到图像坐标系中的像素点与世界坐标系中的空间点的对应关系，具体如公式（4）所示。

利用提前设计好的标定布确定角点的空间位置及像素位置，将其代入公式（4）中即可求出相机模型的内参。为了进一步提高相机标定参数的精度，该文利用重投影的方法将空间中的点通过已经求得的相机模型再次投影到图像平面中从而得到重投影误差，将此最小化误差作为目标函数对相机模型参数进行非线性优化。

公式（5）中，K表示一共拍摄了K张标定图片，L表示每张图片中有L个角点。

如表2 所示，通过Scaramuzza 标定工具箱可获得a0,a1,…,an,c,d,e,uc,vc共n+5 个参数[13]。根据这些参数计算畸变图像每个像素位置对应的新的像素位置从而生成一张去畸变MAP 表。在Linux 系统中，摄像头通过V4L2 驱动统一管理。通过V4L2 接口读取摄像头视频，然后根据查表法将畸变图像重新映射为去畸变图像经过裁剪后在屏幕上显示出来。如图4所示，（a）为采集的原始图像，（b）为经过MAP 表映射并裁减后的图像。由此可以看出该广视角监控视频有效地消除了鱼眼图像的畸变且具有接近180°的可视角度。

表2 Scaramuzza工具箱标定得到的结果

图4 处理前后的鱼眼图像

图5 碰撞、追尾预警及显示界面

由于毫米波雷达的工作频率和鱼眼摄像头的工作频率不同，因此需要对其进行时间数据融合，以保证它们在同一时刻探测到的环境信息是一致的。该文所采用的毫米雷达的采样频率为25 Hz，即两帧雷达数据之间的时间间隔为40 ms；鱼眼摄像头的帧率为30 帧/s，即两帧鱼眼图像之间的时间间隔为33.3 ms。该文以采样周期长的毫米波雷达为基准，用向下兼容的方式对雷达数据和鱼眼图像进行时间数据融合。比如：每隔40 ms 设置时间节点，在获得毫米波雷达数据时，同时采集鱼眼图像信息。

1.3 碰撞、追尾预警及显示界面模块设计

该文针对障碍物的预警提供了蜂鸣器与界面显示两种方式。蜂鸣器通过定时器控制GPIO口的通断频率从而区分不同障碍物的距离，其中0～5 m频率为10 Hz，5～10 m 频率为5 Hz，10～15 m 频率为2 Hz，15～20 m 频率为1 Hz，大于20 m蜂鸣器关闭。

该文利用QT5.5.1进行人机界面的设计，具体见图4，可以为整个系统提供一个可视化窗口。该界面将处理后雷达数据和视频数据进行了整合，可分为左右两个部分，左边显示前后障碍物的距离，一共分为5级，其中0～5 m显示为红色且闪烁频率为5 Hz，5～10 m显示为粉红色且闪烁频率为3 Hz，10～15 m显示为橙色且闪烁频率为2 Hz，15～20 m 显示为黄色且闪烁频率为1 Hz，大于20 m 显示为绿色且闪烁频率为0.5 Hz；右边显示处理后的视频数据。

2 矩形分级预警实现

雷达采用的矩形分级预警流程见图6。首先该系统根据表1、表2所描述的CAN协议解析出毫米波雷达所探测到的障碍物的信息z=[r'a'v]T，包含距离r、角度a、速度v，然后为了减少车辆外围较远处障碍物的误报，通过角度和相对距离将探测到的目标由极坐标系转换为直角坐标系从而将探测到的数据过滤到一个宽4 m，长25 m的矩形框内[14]。由于采矿卡车在山区运行时自身震动较大，因此需要过滤掉车辆在空转状态时的误检目标，设置相对速度大于0.1 m/s 且纵向距离最小的目标为初选有效目标，分别表示在车辆坐标系下的纵向距离、纵向速度、横向距离、横向速度。由于雷达本身的特性及目标回波能量的分布不均，还可能出现虚假目标。同时，随着车辆行驶中的随机颠簸和摆动，导致目标会出现短暂丢失的情况，对此，该文使用二阶扩展Kalman滤波方法进行目标信息预测，并设定最大容许误差，将目标信息预测值与初选目标信息进行一致性检验[15]。最后根据有效目标的距离分为5个不同的报警级别。

图6 分级预警流程

考虑到矿山卡车运行速度较慢，该文认为障碍物目标相对于车辆为匀速运动，则线性的运动状态转移方程可描述为

公式（6）中，Xk表示当前时刻的目标状态，dt表示毫米波雷达更新周期，Xk-1表示上一时刻的目标状态，vk表示高斯噪声。

非线性观测方程可描述为

公式（7）中，zk表示当前时刻毫米波雷达探测到的障碍物信息，wk表示高斯噪声。

通过预测模型的运动方程和观测方程构建一个扩展Kalman滤波问题从而得到预测目标信息，通过式（8）与初选目标进行一致性检验。

对当前时刻的预测目标信息与初选目标信息如果不满足公式（9），则需要进行不一致性处理，当连续不一致次数超过10次则认为目标消失，否则进行目标信息更新从而确定有效目标。

3 嵌入式移植及加速优化设计

3.1 开发环境搭建

考虑到嵌入式硬件平台性能的局限性，该文采用宿主机（PC）和客户机（IMX6）交叉开发的方式。该文所采用的宿主机的开发环境为Ubuntu 16.04，UI 界面的开发工具为QT Creator 4.6.1，通过以下几个主要步骤来搭建QT交叉开发环境[16]。

（1）在宿主机上安装交叉编译工具gcc-4.6.2-fsllinaro-toolchain，配置编译器运行环境。

（2）在宿主机上下载QT 5.5.1源码包，通过交叉编译器套件配置、编译后安装至宿主机及客户机。

（3）在宿主机上配置QT Creator 的交叉编译环境，指定经过第二步编译后的QT5.5.1开发包。

（4）宿主机配置串口终端与NFS，通过串口控制客户机，通过NFS实现文件的传输。

3.2 加速优化设计

该系统通过采用多线程与定时器的方式实现防撞预警的加速从而满足实时性的要求，前后两个毫米波雷达的CAN 数据的读取及处理分别用一个单独的线程来实现。蜂鸣器的报警用一个50 ms 的定时器来控制，界面显示的报警用一个200 ms 的定时器来控制。通过定时器报警既可以实现主程序的加速运行又可以使报警频率便于控制。

该系统通过板载IPU与GPU加速的形式实现前后视频的实时处理。图7 为硬件加速的视频流。首先，在Linux内核的V4l2框架下，利用与IMX6核心板相连的TW6865 模块同时读取车辆前后鱼眼摄像头。其次，图像处理模块IPU 将数据格式由UYVY 转化为RGB32，以便于鱼眼去畸变处理。再次，将图像数据加载到GPU内存空间。在GPU的纹理映射模块中，将畸变图像绑定到GPU的畸变图像纹理，并将上述生成的去畸变MAP 表绑定到GPU 的校正MAP 纹理。最后，GPU根据畸变图像纹理和校正MAP纹理，运用可编程顶点着色器中的顶点处理程序确定渲染的位置，运用可编程片元着色器中的着色程序实时校正每个像素的位置，从而获得去畸变图像[17]。

图7 硬件加速视频流

4 系统测试与结果分析

为了验证整个系统的运行情况，该文在一个露天矿区内进行了实车测试实验。如图8 所示，该文按照上述矿车安装标准，将前后毫米波雷达与摄像头安装至一辆小松HD465-7 矿山卡车上。通过USB 视频采集卡将控制器的UI 界面输出至PC 机上显示。通过USB-CAN采集仪将前后雷达数据连接至PC机的上位机软件中进行显示。图9 为PC 上显示的UI 界面和雷达数据可视化界面。由此可以看出该系统不仅可以根据雷达数据进行实时预警，还可以提供对应的车辆前后的广视角监控视频，从而消除车辆近距离的视觉盲区。

图8 测试车辆及采集装置

图9 雷达数据及预警显示界面

为了进一步验证毫米波雷达预警结果的可靠性，该文测试了该系统对于车辆和行人的预警准确率。测试时，测试车辆静止在一露天矿区内，预警系统正常工作；矿山车辆前后0～25 m 范围内分别设置5 个均匀分布的测量区域，在每个区域内分别安排行人或车辆以大于0.1 m/s 的速度远离或靠近测试车辆；根据行人或车辆所在的区域判断系统给出的预警信息是否正确；每个测量区域分别针对行人和车辆各测试30 次。准确率Ac根据公式（10）通过统计获得。

结果表明，该系统对于车辆预警的准确率为97.38%，对于行人预警的准确率93.23%，两者平均的预测准确率为95.31%。对于行人，在0～5 m和15～20 m区域内，预警错误的次数比较多。在远距离范围内，行人目标比较小，雷达检测不稳定。在近距离范围内，由于毫米波雷达探测角度的限制，行人容易偏离毫米波雷达的探测范围。不过此时可以通过广视角监控视频来确定车辆的前后是否有行人。

5 结语

针对目前矿山车辆车体庞大、盲区大、移动笨拙等特点，该文提出了一种毫米波雷达与广视角监控结合的前后预警系统。该系统结合了鱼眼摄像头与毫米波雷达的优点。通过前后两个鱼眼摄像头实时显示前后路况，解决车辆近距离内盲区大的问题，通过前后两个毫米波雷达可实现车辆前后障碍物的同时探测并提供界面与蜂鸣器相结合的预警方式。该系统的应用可以有效提高矿车作业安全性及效率。