智能汽车环境感知算法测试评价系统开发

2018-10-22隗寒冰

中国机械工程 2018年19期

隗寒冰曹旭赖锋

1.重庆交通大学机电与车辆工程学院，重庆，400074

2.东风汽车集团有限公司技术中心，武汉，430020

0 引言

基于机器视觉的环境感知算法是智能汽车的关键和共性技术之一，也是智能汽车领域研究范围最广、水平最深的方向之一。早期车道线和车辆目标检测算法均建立在目标轮廓特征基础上，对检测算法性能测试评价还缺乏足够研究。文献［1］用Sobel算子检测目标纵横向边缘后，再根据尺寸等先验知识进行过滤得到候选边缘，然后经分级过滤、直线型过滤得到最终边缘；文献［2］利用颜色、形状、直方图特征对候选区域标志牌进行检测。此类方法虽检测效率高，但容易受到光照、阴影、遮挡等因素影响。文献［3］采用基于特征模板配准方法对目标进行检测，该方法同样受遮挡限制。文献［4］综述了采用基于目标特征和分类器的目标检测算法以解决光照等环境因素影响的相关研究。为提高环境感知算法的实时性，近年来也有学者提出了基于随机集概率密度模型、特征数据关联和运动信息配准的多目标跟踪算法。文献［5-6］采用数据关联方法，将复杂环境下的多目标检测问题转化为全局最优问题和随机图最短路问题；文献［7］利用目标特征及其组成分对关联数据结果进行优化；文献［8-9］将多传感器检测数据关联表述为多维匹配问题，采用多假设跟踪（multi-hypothesis tracking，MHT）算法，把待测评算法检测结果与标准算法检测结果进行数据关联，该算法较好地解决了场景中存在目标进出和目标被遮挡的情况，被认为是目前处理目标误警和漏警最有效的算法。

目前，硬件在环仿真技术多运用于构建驾驶模拟器和测试车辆控制器性能等，将真实环境导入测试评价系统并对环境感知算法进行测评的研究还较为少见。文献［10-11］构建了基于硬件在环的车辆仿真系统，但输入场景信息是虚拟道路场景，无法反映真实环境下车辆的运动姿态；文献［12］搭建的人在环仿真（human-in-loop，HIL）系统加入驾驶模拟器，但本质上仍属于基于虚拟环境的驾驶仿真测试；文献［13-14］在真实场景中加入车辆模型作为仿真系统的输入场景信息，但无法反映驾驶员在道路环境中的真实动态信息。

本文基于dSPACE硬件在环仿真平台和六自由度驾驶模拟器，搭建了环境感知算法测试评价系统，实现了真实道路场景信息的输入与车辆运动姿态的模拟；建立了基于机器学习的标准检测算法和基于数据关联的检测评价算法，针对智能汽车环境感知算法多借助于人工识取结果进行对比的不足，提出一套针对准确率、稳定性、通用性及实时性的测试评价体系。

1 测试评价系统硬件架构

测试评价系统以dSPACE硬件在环仿真平台为基础构建，能够保证系统仿真的实时性。系统的硬件结构及逻辑关系见图1。驾驶模拟器安装于六自由度运动平台上，能够为驾驶员提供真实的驾驶体验，同时将驾驶员对车辆的控制信息发送至硬件在环仿真平台并接收反馈信息，实现对车辆动力学模型的实时控制。dSPACE硬件在环仿真平台采集来自驾驶模拟器的驾驶员对车辆的控制信号，再由车辆动力学模型计算车身姿态信息并发送给六自由度运动平台，以实现车辆动态模拟。

图1 系统硬件结构及逻辑关系Fig.1 System hardware structure and logic relationship

2 测试评价系统软件架构

2.1 车辆动力学模型

建立七自由度车辆模型见图2，假定车身为刚性体，车轮简化为质点，悬架类型可简化为4个独立悬架，7个自由度分别是车身的垂向位移、侧倾角、俯仰角和4个车轮的垂向位移。

图2 七自由度车辆动力学模型Fig.2 Vehicle dynamics model of 7 DOF

建立侧向力平衡方程：

建立绕Z轴力矩平衡方程：

建立4个车轮的运动微分方程：

式中，m为整车质量；r为车轮半径；δ为前轮转角；β为质心侧偏角；γ为横摆角速度；vX、vY分别为纵向和横向车速；FX、FY、FZ分别为轮胎纵向力、侧向力和垂向力；ẇ为车轮的转动线速度；i=fl、fr、rl、rr分别表示左前轮、右前轮、左后轮、右后轮；a、b分别为前后轴到质心的距离；lw1为前轴轮距；lw2为后轴轮距；IZ为绕Z轴的转动惯量；Itw为车轮的转动惯量；Tbi为车轮上的合力矩；Tdi为车轮上的扭矩。

2.2 运动学反解算法

运动学反解算法用于计算各液压缸位移，从而对各个缸进行控制，使平台达到需要的位姿，从而实现由六自由度运动平台输入真实道路场景信息。

由图3所示的六自由度运动平台的姿态求6个缸的伸缩量Δli，可利用上下铰支点间的距离li减去相应液压缸的初始长度l0来求解，即

式中，Pki为上铰支点在静坐标系中的坐标；Bki为下平台6个铰点在静坐标系中的坐标；k（k=1，2，3）表示铰点坐标的X、Y、Z轴。

图3 六自由度运动平台Fig.3 Movement platform of 6 DOF

选取车体坐标系OAXAYAZA的坐标原点为上铰外接圆圆心坐标系，固定在上平台上。将静坐标系OBXBYBZB固定在下平台上，并使初始位置时的动坐标系和静坐标系完全重合。运动平台的初始高度（上铰点与下铰点间的垂直距离）为h。上平台6个铰点坐标矩阵A与由静坐标系到动坐标系的变换矩阵R分别表示为

式中，c代表 cos；s代表 sin；rA为上平台圆周半径；ωA为OAA1与起始线的夹角；ϕ为横摆角；θ为俯仰角；ψ为偏航角；x、y、z分别为沿OAXA、OAYA和OAZA方向的位移。

上铰支点在静坐标系中的坐标可用矩阵P表示为

运动平台的6个下铰点位于半径为rB的圆周，下铰点固定在基座，因此它在静坐标系中的坐标不变，即矩阵B固定不变。下平台6个铰点坐标矩阵B表示为

式中，rB为下平台圆周半径；ωB为OBB1与起始线的夹角。

2.3 Washout滤波算法

六自由度驾驶模拟器的作用是让驾驶员能感受到与实车相当一致的加速度和角速度，从而实现由六自由度运动平台输入真实道路场景信息。理论上只要平台重现车辆各种动作，即可达到模拟效果。然而运动平台受硬件工作空间限制，不能完全复现车辆运行时的各种运动状态，尤其是很难模拟低频加速度，故可用Washout滤波算法将车辆的实际运动变换成使驾驶员有相似感受且模拟器能够实现的信号。设计控制系统时，不仅要考虑绝对加速度还要考虑重力加速度，因此引入比力的概念：

式中，fAA为车体坐标系A下洗出位置A点的比力；gA为车体坐标系A下的重力加速度；aAA为车辆质心加速度。

Washout滤波算法的目的是使模拟器在受限的运动空间内，复现真实环境中驾驶员所能感受到的比力和角速度，所以Washout算法应以真实车辆的加速度和角速度为输入，变换成使驾驶员有相似感受且运动模拟器能够实现的信号作为运动系统的输入信号。动力学模型输出的加速度和角速度均在车辆的体坐标系中，加速度要通过坐标变换矩阵LIS转换到惯性坐标系下，角速度要通过变换矩阵TS转换成欧拉角的变化率。

从车体坐标系到模拟器惯性坐标系的转换矩阵LIS为

角速度转换成欧拉角变化率的转换矩阵TS可表示为

Washout滤波算法包括高通加速度通道、高通角速度通道和倾斜协调通道3个部分。输入信号为动力学模型输出的车辆质心加速度aAA和角速度ωAA，输出信号为动平台质心的位置向量SIS和平台的空间角向量βS。加速度通道输出为加速度，而平台输入的控制信息为位姿，需要对加速度信息进行二次滤波以得到位置信息。平台受最大行程限制，滤波信号幅值不能超过选定的最大幅值。算法比例限制环节方程如下：

式中，Kf、Kω分别为比力fAA和角速度ωAA的限制比例系数；、分别为限制后的比力和角速度。

由于倾斜协调通道的存在，故高通加速度通道平移和侧移方向的滤波器可以降低一阶，采用二阶高通传递函数。平台平移和侧移方向的行程范围较小，故平移和侧移方向均采用二阶高通滤波器；由于升沉方向的行程较大，为使平台尽快回到初始位置，因此该方向采用三阶高通滤波器，传递函数分别表示为

式中，ωHP,X、ωHP,Y、ωHP,Z分别为X、Y和Z方向高通滤波器的自然响应频率；ξHP,X、ξHP,Y、ξHP,Z分别为X、Y、Z方向高通滤波器的阻尼比；ωHP1,Z、ωHP2,Z分别为Z方向一阶环节和二阶环节的自然响应频率；aIA,X、aIA,Y、aIA,Z分别为X、Y、Z方向输入给高通滤波器滤波的加速度，等于对应方向上比力与重力加速度之和；aIS,X、aIS,Y、aIS,Z分别为X、Y、Z方向高通滤波器滤波后输出的加速度；s为拉普拉斯算子。

高通角速度通道采用二阶高通滤波器，3个旋转方向的传递函数分别表示为

式中：ωHP,ϕ、ωHP,θ、ωHP,ψ分别为ϕ、θ、ψ 3个旋转方向的角速度通道高通滤波器的自然响应频率；ξHP,ϕ、ξHP,θ、ξHP,ψ分别为ϕ、θ、ψ3个旋转方向的角速度通道高通滤波器的阻尼比；βA,ϕ、βA,θ、βA,ψ分别为ϕ、θ、ψ 3个旋转方向的欧拉角变化率；βSH,ϕ、βSH,θ、βSH,ψ分别为ϕ、θ、ψ 3个旋转方向经过二阶高通滤波器处理后的欧拉角变化率。

倾斜协调通道的传递函数分别为

式中，ωLP,X、ωLP,Y分别为平移和侧移方向的倾斜协调通道低通滤波器的自然响应频率；ξLP,X、ξLP,Y分别为平移和侧移方向的倾斜协调通道低通滤波器的阻尼比；fSL,X、fSL,Y分别为倾斜协调通道纵向和侧向比力输入的低频分量；、分别为经比例限制环节限制后的比力在倾斜协调通道纵向和侧向的分量。

协调倾斜通道中的协调变换环节是为了将比力信号的低频分量转化为倾斜角度，可用下式表达：

式中：ϕ、θ分别为倾斜协调通道的横摆角和俯仰角。

高通加速度通道的输入信号为车辆质心加速度aAA，经该通道高通滤波器滤波后，输出为加速度aIS。但Washout滤波器高通加速度通道最后输出给平台的控制信号为位移SIS，因此需在该通道各个方向上对加速度信号进行二次滤波，从而得到位移信号。二次滤波的传递函数可表示为

式中，ω2为二次滤波器的自然响应频率；ξ2为二次滤波器的阻尼比；k2为前向调节系数。

3 测试评价系统

测试评价系统包含基于机器学习的标准检测算法和基于数据关联的检测结果关联算法。标准检测算法通过对标准空间的样本在离线状态下进行机器学习，得到目标检评价标准。评价系统利用检测标准对被测图像帧进行目标检测，以得到标准检测结果。检测结果关联算法采用多假设跟踪算法，将待测评算法检测结果与标准检测结果进行数据关联对比，以确定两者之间的对应关系，从而计算待测评算法准确率和漏警率等。

3.1 测试评价功能定义

测试评价体系包括准确率评价、稳定性评价、实时性评价及通用型评价四部分。准确率评价主要对环境信息提取和处理能力进行测评，指标有漏警率和误警率等；稳定性评价主要对算法抗干扰能力进行测评，从阴影、遮挡、路口、光照突变及相机抖动等方面进行评价，指标有正确数累计值及占此种影响总帧数的百分比；实时性评价主要对算法实时性进行测评，指标有单帧处理时间、平均处理时间及最短处理时间；通用性评价主要对不同环境下的算法适用性进行测评，具体指标有车道线特性通用性和车辆类型、车速特性的通用性等。开发的测试评价界面见图4。

图4 测试评价界面Fig.4 Test and evaluation interface

3.2 标准检测算法

目前用于环境感知算法评价的标准方法多采取人工识取结果，即对每帧图像内的目标进行离线手工标注，存在效率低、通用性差等不足。本文提出基于机器学习得到测评标准的标准检测算法，实现动态因素下的测试评价，既有效提高了测评准确性，又可实现海量数据的动态测评。算法通过图像样本来构建检测指标的标准空间，包含标准模糊空间、标准光照空间及标准遮挡空间等，并对标准空间的样本在离线状态下进行机器学习，最终得到标准检测结果。标准检测算法的处理顺序见图5。

图5 标准检测算法Fig.5 Standard test algorithm

具体而言，算法采用的标准模糊空间可分为对样本高斯平滑处理得到的高斯模糊子空间、对样本直方图调整处理得到的光照模糊子空间、对样本运动滤波处理得到的运动模糊子空间。标准光照空间包括全局曝光图像、全局阴影图像、局部曝光图像以及局部阴影图像等。标准遮挡空间包括车道线被积水遮挡图像、车道线被车辆遮挡图像、车道线被行人遮挡图像以及车道线被障碍物遮挡图像等。算法采用的AdaBoost分类器是一种把若干个弱分类器整合为强分类器的分类器，分类器训练迭代过程仅改变样本的分布，并减小分类正确样本的权值，增大分类错误样本的权值，最终将多个弱分类器加权组成强分类器，即形成测评标准。算法详细步骤如下：

（1）给定训练集。训练集上样本的初始分布可表示为

（2）寻找具有最小错误率的弱分类器。某弱分类器在分布上的错误率为

（3）计算该弱分类器的权重系数：

（4）更新训练样本的分布：

（5）计算最后的强分类器：

式中，Dk(i)为训练样本集的权值分布；N为样本集数目；hk为预测函数；Hf为最终的强分类器；αk为弱分类器权重；Zk为归一化常数；εk为误差率；k（k=1，2，…，T）为当前迭代次数；T为总迭代次数；xi为输入的训练样本向量；yi为分类的类别标志。

3.3 检测结果关联算法

为验证目标检测算法结果的准确性，将待测评算法输出结果与前面建立的机器学习检测标准算法输出结果进行关联比对。关联算法级联了距离分类器、速度分类器和特征分类器，依次采用3个分类器以确保检测结果和标准结果之间的唯一对应。算法采用了距离最近假设、速度一致假设和灰度一致性假设，可消除车辆间的相互遮挡对被测结果与标准结果间的匹配造成的影响。

（1）距离分类器。将标准结果中的车辆坐标输入到距离分类器，若经过距离分类器时，由检测结果得到的候选对象数目等于1，则该候选对象即为该车在待测评算法中的检测结果；若无候选对象，则进入漏检计算；若候选对象数目大于1，则进入速度和特征分类器进行判断。坐标距离用下式表示：

式中，（xI，yI）、（xK，yK）分别为图像坐标系中候选目标车辆和标准目标车辆坐标值；d为检测结果和标准结果的坐标距离。

（2）速度分类器。车辆的运动轨迹连续光滑，将最能保持轨迹光滑且未被其他标准结果匹配选中的候选对象，选为该车辆在当前时刻的检测结果，用下式表示：

式中，Pm-1、Pm、Pm+1分别为车辆目标上一帧、当前帧和下一帧的帧数信息；Vd为车辆的运动轨迹光滑度。

（3）特征分类器。在未匹配选中的候选对象中，某个候选对象的特征与同一时刻标准结果中车辆的特征向量最相似，则认为该候选对象是该车在此时刻的检测结果，用下式表示：

式中，V、S分别为候选对象特征和标准目标特征；μV、σV分别为V的均值和标准差；μS、σS分别为S的均值和标准差。

令 li,t(ui,t,vi,t)、si,t(wi,t,hi,t)、Ai,t和 Fi,t分别表示t时刻第i个目标的位置坐标、尺寸大小、重叠面积和特征矩阵，对于t时刻，任意目标i与t+Δt时刻任意目标j的相似度wij定义为

Pl表示位置相似度，用中心点坐标距离定义。待测目标的中心位置与标准算法目标中心位置的距离误差值越小，则说明检测结果越准确，用下式定义：

Ps表示尺寸相似度，用目标尺寸定义。待测目标的尺寸与标准算法目标尺寸越接近，则说明相似度误差值越小，用下式定义：

Po表示目标重叠度，用下式定义：

Pf为特征矩阵相似度，用特征矩阵巴氏距离的指数形式进行定义：

式中，u、v、w、h分别为目标的坐标信息及宽度、高度信息。

4 试验结果与分析

为了验证开发的环境感知算法测试评价系统的有效性，采集一段高速工况图像数据进行测试。预先在图像帧中通过人工识取方法得到目标识别的标准结果，然后将测评系统测试得到的结果与人工识取得到的标准结果进行对比。

图6a～图6c分别为某段时间内的驾驶员输入前轮转角、车辆运行轨迹及车速信息，图6d为识别得到的两侧车道线与本车之间的距离信息，虚实线分别为车辆距离左右侧车道线的距离，图6e为识别得到的前方目标车辆与本车之间的距离信息，图6f为目标车辆与本车车速的差值信息。

图6 车辆运动状态Fig.6 Dynamic state of vehicle

图7 所示为车辆运行轨迹相对应的六自由度平台运动状态。

环境感知算法测试场景见图8，场景分别包含车道线漏检与误检、车辆漏检与误检、目标遮挡、相机抖动与光照突变等情况。图8中深色矩形框2为人工识取结果，浅色矩形框1为本文开发的环境感知算法检测结果。

图9所示为检测算法数据关联结果，其中图9a所示为位置相似度，用当前帧中的检测目标中心位置与目标真实位置之间的距离误差值定义，见式（30）；图9b所示为当前帧中的检测目标尺寸与目标真实尺寸的相似度，见式（31）；图9c所示为当前帧中的检测目标与目标真实值之间的重叠度，见式（32）；图9d所示为当前帧中的检测目标特征矩阵与目标真实特征矩阵的相似度，见式（33）。

图7 六自由度平台运动状态Fig.7 Dynamic state of 6 DOF platform

图8 环境感知检测算法测试场景Fig.8 Scenario of environmental perception algorithm experiment

表1给出了检测算法结果与人工识取结果在不同场景下的对比。由对比结果可知，本文建立的标准检测算法和数据关联检测评价算法的识别结果与人工识取结果的吻合度较高，可较好地作为标准检测算法。

图9 数据关联测试结果Fig.9 Experiment results of data association

图10 所示为对某典型连续图像帧的测试结果。图10a所示为当前帧检测所耗的时长；图10b所示为当前帧图像的清晰度，用图像边缘宽度表示；图10c所示为当前帧图像的曝光度，用图像灰度直方图表示。由测试结果可知，测评系统开发的基于机器学习的感知算法针对目标遮挡、曝光度、大曲率车道线等情况时，均能对目标进行有效识别。