赵栓峰 许倩 丁志兵 黄涛

摘  要： 为了探测车辆间的相对距离，避免危险车辆由于驾驶不当所引发的交通问题，提出一种深度学习目标识别下的跟驰车辆相对距离测定方法，避免了雷达测距的短距离局限性以及车辆未知性的缺点。该方法采用车载单目摄像机对侧后方车辆进行拍摄，实际物体和成像点之间的转换通过三坐标转换完成，利用深度网络识别目标车辆，获得目标车辆位置以及类别信息，并建立合适的测距模型，得到检测车辆与摄像头之间的相对距离，利用帧差法预测被检测车辆的行驶速度。选择河南省鹤壁市107，342国道进行试验，该路段验证了测距模型的有效性，静态测距下75 m以内相对误差控制在4%，速度误差控制在5%，因此，在检测到危险车辆的情况下，测距模型可以实现相对距离的实时准确性检测。

关键词： 车辆识别; 坐标转换; 测距模型; 车辆位置信息; 相对距离探测; 车辆速度预测

中图分类号： TN98?34                         文獻标识码： A                            文章编号： 1004?373X（2020）19?0070?05

Abstract： In order to detect the relative distance between vehicles and avoid traffic accidents caused by dangerous vehicles due to improper driving， a following vehicle relative distance measuring method based on deep learning target recognition is proposed， which avoids the limitation of short distance radar ranging and the shortcoming that a vehicle cannot get the situation around. In the proposed method， the vehicle?mounted monocular camera is used to shoot the rear side vehicles， and the transformation between the actual object and the imaging point is achieved by the transformation of three coordinates. The deep network is used to identify the target vehicle， obtain the position and category information of the target vehicle， and establish a suitable ranging model to obtain the relative distance between the detected vehicle and the camera. The frame difference method is used to predict the driving speed of the detected vehicle. The national highway G107 and G342 within Hebi city in Henan province were selected for the test to verify the effectiveness of the ranging model. The relative error and the speed error of static ranging within 75 m are kept at 4% and 5%， respectively. Therefore， the ranging model can realize real?time accurate detection of relative distance.

Keywords： vehicle recognition; coordinate transformation; ranging model; vehicle position information; relative distance detection; vehicle velocity prediction

0  引  言

驾驶员在变道或超车等类似驾驶行为中经常会对驾驶可行性做出误判，导致交通事故频繁发生，仅2017年，由于驾驶员出现感知失误引发交通事故203 049起，死亡人数63 772人，财产损失[1]高达121 211.3万元。因此，越来越多的研究学者将研究重点集中在车辆安全驾驶辅助系统上[2]，文献[3]基于数据融合的思想，通过识别驾驶员人眼特征以及车道线等参数来实现驾驶员在危险状态下的实时预警，文献[4]建立了基于机器立体视觉的车距测量系统，实现了车辆间的距离检测，但汽车识别误差较大，距离误差在50 m内高达4.5%。文献[5]将机器视觉与车距测量相结合，根据小孔成像原理建立实际三维图像空间与摄像机二维图像的映射关系，计算出前方车辆的实际距离值，测量距离在70 m内时，误差可达5%。文献[6]为了降低汽车换道时碰撞事故发生的概率，提出一种基于OpenCV的AEB系统车辆检测和预警研究，实现了单目视觉下的车辆识别。这些研究均为汽车安全驾驶性能的提高做出了突出贡献，目前已有的HLCA系统[7]融合了雷达和CCD摄像机的信息，实现了40 m左右的中距测量。Mobile eye公司研发的BSD系统[8]利用单目摄像机及车道线识别系统进行盲区车辆的检测，其探测距离可达50 m。由于多目标识别使系统识别速度降低，实时预警效果不佳，本文提出了一种基于深度学习网络对危险车辆进行识别检测的方法，实现单目标危险物识别，在识别危险车辆的基础上，通过危险车辆的信息建立测距模型，同时实现了危险目标的识别以及距离测定，在75 m以内距离相对误差可控制在4%内，为安全驾驶辅助系统提供了技术实现依据。

1  危险车辆识别

车辆类别的识别可以实现危险驾驶的精准预警，本文采用车载摄像机对后方车辆进行实时拍摄，摄像机安装在后视镜下方一定高度处，对车辆的预测采用如图1所示的深度学习网络，此网络是一个全卷积网络，网络中采用了53个卷积层，借鉴了残差网络（Residual Network）的做法，在一些层之间设置了快捷链路[9]（Shortcut Connections），大量使用残差的跳层连接，形成更深的网络层次以及多尺度检测。

网络对输入为416×416×3的图像进行特征提取，得到[S×S]大小的特征图，然后将输入图像分成[S×S]个网格单元，采样使用步长为2的卷积来进行降采样。每一个网络结构进行3次目标检测，在检测中使用sigmoid 函數进行中心坐标预测，如果ground truth中某个检测目标的中心坐标落在某个网格单元中[10]，那么就由该网格单元预测该目标，再预测出[B]个检测边界框以及每个框的置信度。置信度表征了检测边界框对其检测物体的置信度[11]，公式如下：

式中：[C]为边界框的置信度，由当前预测中边界框含有目标的置信物体[Pt]与预测目标的准确性[Iou]所决定，目标检测准确性的判别方法如式（2）所示，[Bgt]为训练样本自制标签的标准框，[Bdt]为检测到物体的回归边界框，因此，目标检测的准确性取决于标准框与预测边界框的重合度，即预测框中检测物体的存在概率。检测结果可以获得检测物体的类别、中心坐标值以及预测边界框的坐标。在训练过程中，采用二元交叉熵损失进行分类预测。

2  三坐标转换

为了完成车辆间实际距离的预测，需要完成摄像机坐标、平面坐标以及世界坐标之间的转换[12]，才能得到图像中目标点的像素点距离。

1） 图像坐标[（x，y）]转换为像素坐标[（u，v）]

水平坐标轴[u]与垂直于[u]轴坐标轴的[v]轴相交于点[O0]，共同构成了图像坐标系，以左上角[O0]点作为原点，其度量单位为像素。在[（u，v）]图像坐标系中通过建立坐标系[（x，y）]来解决像素不能用实际的物理单位表述的问题，[x，y]轴分别与[u，v]轴保持平行，因此，[xO1y]和[uO0v]坐标系中的参数点能够相互表示，其坐标系如图2所示。

假定[xO1y]坐标系中[x]轴方向上每个像素表示实际的物理尺寸为[dx]，[y]轴方向上为[dy]，则[xO1y]坐标系与[uO0v]坐标系的转化关系如下：

将式（3）用矩阵表示并使用齐次坐标变换后可得：

2） 摄像机坐标[（Xc，Yc，Zc）]到平面坐标[（x，y）]的转换

在理想状态下，空间任意一点[P]可以采用小孔成像模型[13]来描述，即采用[OP]交于图像平面的点[p]来代表[P]的投影，该关系采用比例等式来描述：

把坐标点进行齐次化，使用矩阵将式（5）表达出来为：

3） 世界坐标转化为摄像机坐标

通过平移和旋转世界坐标系能够获得摄像机坐标系[14]，假设图像平面中有一点[（Xc，Yc，Zc）]在实际空间中的坐标为[（XW，YW，ZW）T]，经过齐次化后并实施转换得到两坐标系的转换关系为：

式中：三阶正交矩阵[R]为旋转矩阵;三阶矩阵[t]为平移矩阵;[OT]为三阶零矩阵。

综上所述，世界坐标转换到像素坐标的关系为：

式中：[ax=fdx]，[ay=fdy]分别表示两坐标轴上的单位尺度参数;[M]是一个3×4的投影矩阵;[ax]，[ay]，[u0]，[v0]，[M1]由摄像机的内部参数决定;[M2]为摄像机的外部参数矩阵，由旋转矩阵[11]和平移矩阵组成。

3  相对位置测距模型

危险车辆间速度以及距离测定的基础在于深度学习对于侧后方驾驶车辆的准确预测以及回归，只有在回归出后方车辆的目标矩形，标注出矩形边框中心点的基础上，才能建立合适的测速测距模型，如图3所示，[P1]，[P2]点为回归车辆所需要的中界点参数。

如图4所示，相机光心为[O]，相机安装在距离地面高度为[h]的位置，其中[h]为90 cm，即光心距离地面的距离[OD]为90 cm。标注图3中[P1]，[P2]点的位置，即跟驰车辆的车身高度，利用[P′1]，[P′2]表示[P1]，[P2]点在摄像机成像平面上的成像点，光轴相交成像平面于点[P]，相交于实体平面于点[P]，则[OP]为相机焦距[Fy]。前导车与跟驰车辆相对距离表示为[d]，以[O]为原点作直线垂直地面于点[D]，以[P1]为原点，作直线垂直于以[O]为原点的[DP1]水平线于点[F];作平行于成像平面的直线相交于[OF]延长线于点[G]，延长线段[OP2]，[OP]交线段[P1G]于点[C]，[B]。车载摄像机的安装俯仰角度为[θ]，其中[θ]为5°，光轴与水平面夹角为[β]。

由距离测量公式可知，只需得到目标车辆参数点的像素坐标，就可以得到行驶车辆间的相对距离。

4  相对位置测速模型

测速是检测运动目标在单位时间内的位移[14]。测速算法通过后视镜下方安装的摄像机以一定帧速采集侧后方车辆视频图像，经过深度预警网络预测输出目标边界框中心坐标[15]，再利用坐标转换方法将车辆在二维图像中的像素坐标转换到三维世界坐标系中，利用帧差法对图像不同帧之间的距离作差，计算出[ΔS]，进而求出[v1]，[v2]，取二者均值作为相对速度[RS]。测速算法流程如图5所示。

具体的行车距离计算、时间间隔计算、侧后方运动车速计算如下：

1） 行车距离计算

采集一段含有[N]帧图像的本车侧后方车辆运动视频，假设行驶车辆在图像坐标系中的位置为[（u1，v1）]，[（u2，v2）]，…，[（uN，vN）]，映射到世界坐标中的位置为[（X1，Y1）]，[（X2，Y2）]，…，[（XN，YN）]。使用相邻帧图像求解车辆的相对运动距离如下：

式中[ΔS]为两车的相对距离。

2） 时间间隔计算

摄像机采样周期由硬件决定，在实际应用中可以通过视频帧[16]计算时间。在测速过程中，假设摄像机采样周期为[T]，某一时刻的帧号为[N1]，经过一段时间后帧号为[N2]，两个位置点相对应的行车时间为：

3） 侧后方运动车辆相对速度计算

根据车辆的相对运动距离和车辆的相对运动时间可以计算出本车和侧后车辆之间的相对运动速度RS：

5  系统实验结果及分析

以比亚迪某1.5 L排量的轿车为实验车辆，将两个CCD摄像机分别安装于后视镜底部高度为90 cm距离处，调整CCD摄像机的俯仰角，使摄像机能够有效地监测到本车侧后方的车辆信息以迎合驾驶员的驾驶习惯。姿态角度传感器BWT901CL吸附于车顶的中心位置，用来采集本车加速度、角速度等数据。采用手机内置GPS模块配合高德地图导航记录本车的行驶速度。计算机作为数据计算中心，在Windows 7系统下，通过Python程序调用Tkinter模块设计了侧后方车辆速度与距离检测软件系统，显示界面如图6所示，车辆检测模块主要依赖于Keras框架和OpenCV，相对距离估计算法和测速估计算法通过Python程序实现。

5.1  测距实验及结果分析

静态测距时将测试车辆停靠在河南省鹤壁市342国道的淇河大桥上，测试车辆与行驶车辆方向保持一致，车身与车道分隔线保持平行，测试车辆在5 m，15 m，25 m，35 m，45 m，55 m，65 m，75 m处做标记，对每一个标记处分别采集10张图片。静态测距实验结果见表1。

在5～75 m距离范围内对测距算法的有效性和准确性进行验证，纵向实际距离和测算距离相对误差保持在4%范围以内。

5.2  测速实验及结果分析

实验车辆停靠在路边，设置一辆在本车相邻车道上的受测试车辆保持40 km/h的速度匀速接近本车，分别进行5组实验，在不同的标记距离区间检测受测试车辆的相对速度[RS]。在距离本车15 m范围内，选取视频中的208～216幀图像，将第213帧图像选为中间帧，从而得知[Δt1]=0.172 s，[Δt2]=0.103 s，分别测得相对位移[Δs1=]1.97 m，[Δs2=]1.20 m，进而求出[v1=]41.233 km/h，[v2=]41.942 km/h，将两者的平均速度记为相对速度[RS=]41.587 km/h，相对误差为4.068%，测速实验结果见表2。

在15 m范围内测算相对误差为4.086%;在16～35 m范围内测算相对误差为0.435%;在36～55 m范围内测算相对误差为0.435%;在36～55 m范围内测算相对误差为2.970%;在56～75 m范围内测算相对误差为4.226%;检测范围大于75 m时，会因为距离越远的像素点之间对应实际距离的差值增大，导致测算相对误差增大到24.361%。

6  结  语

本文利用深度网络实现了危险车辆的识别，在基于目标参数点的基础上建立了测距模型，由实验数据可得，建立的测距测速模型在一定距离内能够符合实际距离测定的要求，模型在75 m内距离误差可控制在4%以内，速度误差控制在5%以内，超过此范围，误差将急剧增大。因此，后期研究中将会针对相对距离超过75 m的车辆设置合适的测距模型，来完成车辆在行驶过程的相对距离检测，实现驾驶过程中危险车辆的识别以及实时预警。

参考文献

[1] 邱建东，解小平，汤旻安，等.基于车流量的智能交通信号优化控制研究[J].计算机应用与软件，2018，35（1）：92?96.

[2] 徐洋.先进驾驶员辅助驾驶系统关键技术研究[D].重庆：重庆大学，2017.

[3] 李娟.基于数据融合的危险驾驶行为识别与车辆跟踪算法研究[D].武汉：武汉工程大学，2017.

[4] 范贤达.复杂环境下运动车辆识别与测距方法研究[D].北京：北京交通大学，2017.

[5] 唐玲，陈明举，杨平先.基于机器视觉的车辆距离测量系统设计[J].实验室研究与探索，2016，35（3）：56?59.

[6] 杨俊华.基于OpenCV的AEB系统车辆检测和预警研究[J].北京汽车，2018（3）：11?14.

[7] CHENG Fuchao， ZHANG Hong， FAN Wenjie， et al. Image recognition technology based on deep learning [J]. Wireless personal communications， 2018， 102（2）： 1917?1933.

[8] ZOU Bowei， CUI Xiaochuan. Research on the measurement method of the detection range of vehicle reversing assisting system [C]// Proceedings of the 2015 International Conference on Information Technology and Intelligent Transportation Systems. Xian： Springer， 2015： 55?66.

[9] WANG Zhouxia， CHEN Tianshui， LI Guanbin， et al. Multi?label image recognition by recurrently discovering attentional regions [C]// 2017 IEEE International Conference on Computer Vision. Venice： IEEE， 2017： 464?472.

[10] 杨青锦.OpenCV下按视频帧率（FPS）播放视频[J].中国科技信息，2012（21）：75.

[11] MO Chunmei， LI Yinong， ZHENG Ling. Simulation and analysis on overtaking safety assistance system based on vehicle?to?vehicle communication [J]. Automotive innovation， 2018（2）： 158?166.

[12] 王华莹.基于机器视觉的车辆检测和车距测量方法研究[D].大连：大连理工大学，2011.

[13] 陆德彪，郭子明，蔡伯根，等.基于深度数据的车辆目标检测与跟踪方法[J].交通运输系统工程与信息，2018，18（3）：55?62.

[14] 罗金玲.基于计算机视觉的前方车辆检测与测距系统设计[J].电脑编程技巧与维护，2017（22）：87?88.

[15] 曹，李进，张智欣.机器视觉辅助驾驶系统的车辆检测和测距[J].电子技术与软件工程，2018（17）：238.

[16] 蒋玉亭，那田，汪世财.一种基于机器视觉的前方车辆距离检测方法[J].合肥工业大学学报（自然科学版），2018，41（4）：518?522.