APP下载

基于条件随机场的驾驶意图识别研究

2021-12-08王亚伦陈焕明赵岩

王亚伦 陈焕明 赵岩

摘要:  为了提高高级驾驶辅助系统的安全性和可靠性,本文提出了一种基于条件随机场的驾驶意图识别模型。在模拟驾驶器中,通过采集到的偏航角和车辆质心到车道中心线的距离,计算出车辆前轮压线点的时刻,从而确定车道保持意图、左换道意图和右换道意图3种意图时窗,并对识别结果进行对比。记录了12名受试者的驾驶样本共200组,通过对比样本的差异,确定了7个驾驶意图特征参数。仿真结果表明,基于CRF的识别效果很好,选取意图时窗T=12 s最合理,而且LK、LCL和LCR 3种驾驶意图综合评价指标(F1值)分别达到了9526%、9646%和9519%,能准确地识别出驾驶员的驾驶意图,极大提高了行车的安全性。该研究为驾驶意图识别领域的发展提供了参考。

关键词:  ADAS; 条件随机场; 意图识别; 意图时窗; 综合评价指标

中图分类号: U491.2+5; U467.5+1; TP391.4 文献标识码: A

基金项目:  山东省高等学校科技计划项目(J18KA048)

近年来,大量企业和研究机构致力于开发高级驾驶辅助系统(advanced driving assistance system,ADAS),通过自动调节汽车的电子、机电和通信系统,提醒驾驶员潜在的危险或危险来临时如何减轻碰撞损坏,从而提高驾驶员行车的安全性[1]。常见的ADAS技术有自适应巡航控制(adaptive cruise control,ACC)、车道偏离预警(lane departure warning,LDW)、车道保持辅助(lane keep assistance,LKA)和侧面警告辅助(side warning assistance,SWA)等,但这些辅助系统大多是在没有考虑驾驶员意图的情况下做出判断[2],这将干扰驾驶员的正常操作并降低行车的安全性。驾驶员是“人车路”系统的核心,因此准确的驾驶意图识别是提高ADAS安全性和可靠性的关键。目前,国内外学者提出了很多驾驶意图识别方法,如支持向量机(support vector machine,SVM)、贝叶斯决策(bayesian decision,BD)、神经网络和隐马尔可夫模型(hidden markov model,HMM)等。Husen M N等人[3]通过利用句法识别方法中的上下文无关语法,对换道和转弯过程中的驾驶行为参数以符号的形式表示,形成代表特定行为的句子,实现了驾驶意图的识别;郭应时等人[4]通过分析换道行为和车辆运动状态,建立基于BP神经网络和证据理论的换道意图识别模型,对意图换道进行实时识别试验,结果表明证据理论识别模型具有更高的识别准确率;Liao Y等人[5]提出一种基于SVM的驾驶员认知分心实时检测算法,对驾驶员的驾驶意图具有较高的识别率;李敏等人[6]建立了基于粒子群算法的SVM和神经网络的驾驶意图识别模型,对比发现后者具有更高的识别率;姜顺明等人[7]提出一种基于贝叶斯网络的旁车并线意图识别模型,对并线样本和直行样本均具有较高的识别率;刘志强等人[8]运用HMM和SVM级联算法,建立驾驶员驾驶意图识别模型,其识别结果明显高于HMM和SVM单一算法。上述研究虽然识别的准确率较高,但存在模型过于复杂、所需训练数据样本量过大的问题。基于此,本文通过模拟驾驶器采集驾驶意图特征参数,采用基于条件随机场(conditional random field, CRF)的驾驶意图识别方法,对驾驶意图进行识别检测。通过采集到的偏航角和车辆质心到车道中心线的距离,计算车辆前轮压线点的时刻,确定车道保持意图、左换道意图和右换道意图3种意图时窗,并对识别结果进行对

比。记录12名受试者的驾驶样本共200组,通过对比样本的差异,确定7个驾驶意图特征参数进行仿真实验。实验结果表明,该研究能准确识别驾驶员的驾驶意图,提高行车安全性。

1试验方案

1.1试验平台及试验场景设计

为满足实验实时准确地进行采集分析,在保证安全的前提下进行多次试验。本文采用基于NI PharLap ETS实时系统,搭建模拟驾驶器,进行数据采集,模拟驾驶器如图1所示。

本文主要研究高速公路场景下的换道行为,使用Carsim仿真软件,按照国家标准搭建的双向六车道。其中单车道宽度为4 m,场景中包括交通标志、标准车道线、路肩、树木、建筑和其他辅助车辆等景象,路线全长设置为20 km,试验车速全程设置为80~120 km/h,试验天气设置为晴天。

1.2试验人员

本次试验共招募12名驾驶员作为受试者,其中男性驾驶员10名,女性驾驶员2名,身份为在校的学生或老师,年龄在22~50岁,受试者均拥有C1级驾驶证,驾龄均在2年以上。此外,试验过程还配备1名工作人员,负责监控模拟驾驶器的工作状况并进行数据采集记录。

1.3试验过程

本文将驾驶意图划分为车道保持意图(lane keeping,LK)、左换道意图(lane changing left,LCL)和右换道意图(lane changing right,LCR)3类。试验过程中,驾驶模拟器会实时同步地采集车辆纵向速度、车辆横向速度、方向盘转角、方向盘转角速度、偏航角、车辆横向位置、制动和油门踏板开度等多种车辆运动状态参数,采样频率设置为100 Hz。

2意图表征時窗的选取

2.1意图时窗的选取

为得到换道意图样本,首先确定意图表征时窗的宽度。A. Doshi等人[9]通过对比换道前3 s与前2 s的识别率表明,换道前2 s的识别率更高;Peng J S等人[10]根据眼动数据和车辆行驶状态数据,确定换道时窗为5 s。本文将换道过程中换道方向的前侧车轮压到车道中心线时刻前Ts作为意图表征时窗。车辆左换道行驶轨迹如图2所示,其中O点为车辆左前轮与车道线的交点。

2.2前轮压线点时刻的确定

由于Carsim软件中的车辆横向位置信号指的是车辆的质心位置到车道中心线的距离,因此车辆的左、右前轮压线点的时刻单凭肉眼观测无法准确判断。本文通过测得的偏航角φ及车辆质心到车道中心线的距离L计算出准确的左、右前轮压线点时刻,左前轮压线点时刻计算示意图如图3所示。

图3中A、B、C、D表示简易化的车辆;LAB=LCD,表示车辆的轮距;LAD=LBC,表示车辆的轴距;LAE=LGF,表示车辆左前轮到车道中心线的距离;φ为车辆的偏航角;点A视为车辆的左前轮;点I视为车辆的质心;点H视为车辆质心I到AD做垂线的垂足且视为轴距AD的中点,点E视为车辆左前轮A到车道中心线做垂线的垂足,点F为车辆质心点I到车道中心线做垂线的垂足,点K为IF与AD的交点。

利用三角形关系可得

L=LGF+LGK+LKI(1)

LAE=LGF(2)

LKI=LHI/cos φ(3)

LGK=(LAH-LHI×tan φ)×sin φ(4)

式中,LAH为车辆轴距的1/2;LHI为车辆轮距的1/2。本文选定的目标车辆为Carsim中的C级车,其轴距为2 910 mm,轮距为1 916 mm。

根据三角形相似的性质可知,图3中∠HIK=∠GAK=φ,tan φ=tan∠HIK=LKH/LHI,sin φ=sin∠GAK=LGK/LAK,进而得出LHI×tanφ=LKH,LAH-LKH=LAK,最终得到LGK=LAK×sin φ。

当LAE=0时,计算出左前轮压线点的时刻,不管采样率的取值多小,总存在时间间隔,所以部分刚好处于压线点时刻的数据无法采集。本文采样频率为100 Hz,采样间隔为0.01 s,其误差不超过0.015 m,右换道同上。

2.3样本筛选

确定好意图表征时窗后,分别选取图2中T=1,1.2,1.5 s,该特征数据量作为左换道意图阶段的样本进行对比,右换道同理。为了便于后续的对比分析,随机截取无明显换道意图且样本量同为T的特征数据段作为车道保持意图阶段的样本。

按照上述要求筛选出200组样本,其中LK样本100组,LCL样本50组,LCR样本50组,为提高识别效果,将样本以4∶1的比例分为训练样本和测试样本。

3驾驶意图特征参数的确定

对筛选的LK样本、LCL样本和LCR样本的特征参数数据进行分析对比,排除差异小的参数,根据选取特征参数时遵循易量化、全面性和相互独立性的原则[11],经独立样本T检验,选取出伴随概率p<0.05,即存在显著性差异的特征参数。

3.1驾驶行为参数

操纵方向盘是完成车道变换过程的最直接驱动因素,并且在车道保持过程中,驾驶员也需要根据道路环境和交通状况通过操控方向盘不断地调整车辆在车道中的位置,因此,驾驶员对方向盘的操纵是影响行车安全性最直接且最关键的因素[12]。通过NI Veristand采集到方向盘转角与方向盘转角速度,上述驾驶行为参数达到了表征驾驶员的驾驶意图的要求,3种驾驶意图阶段驾驶员行为参数箱线图如图4所示。

3.2车辆状态和道路参数

车道变换属于车辆横向运动的一种,选择与车辆横向运动相关的特征参数能准确地表达车辆的横向运动状态,提高识别的准确率。因此,本文选取了车辆的横向位置、横向速度和加速度以及偏航角和侧倾角等特征参数。上述车辆状态和道路特征参数均达到了表征驾驶员的驾驶意图的要求,3种驾驶意图阶段车路参数箱线图如图5所示。

基于以上分析,结合图4和图5,选定的驾驶意图特征参数如下:

1)驾驶行为参数。方向盘转角(°),方向盘转角速度(°/s),横向位置(m),横向速度(km/h)。

2)车辆状态和道路参数。横向加速度(m/s2),偏航角(°),侧倾角(°)。

4基于CRF的模型训练及仿真分析

隐马尔可夫模型(hidden markov model, HMM)是用于标注问题的统计学习模型,根据定义隐马尔可夫模型作了2个基本假设,即齐次马尔可夫性和观测独立性假设[13]。HMM的缺点是只依赖于每个时刻的状态和它对应的观察对象,即在任意时刻观察值仅仅与状态(要标注的标签)有关,计算状态转移概率和观测概率是分开计算的,可认为相互独立,而序列标注问题跟单个词及其上下文即观测序列的长度都相关,条件随机场解决了该缺点,可以任意容纳上下文信息。此外,条件隨机场使用全局优化技术,解决了最大熵马尔可夫模型的标注偏置问题。

条件随机场(conditional random field, CRF)主要用于标注问题[14],相比其他序列标注模型,CRF综合考虑了空间上下文特征并作出了全局统计,能得到更好的标注结果[15],已被广泛证明可实现词性标注的功能,因此CRF在自然语言处理领域得到广泛应用。本文尝试将CRF运用到意图识别领域,对驾驶意图特征参数进行标注,检验其识别效果。

4.1线性链条件随机场

将CRF的预测问题看作求非规范化概率最大的最优路径问题,路径表示标记序列,采用动态规划的维特比算法(Viterbi)求解。

4.2模型仿真与训练

1)样本数据预处理。驾驶员在模拟驾驶器与实车的驾驶上存在区别,所以在数据采集过程中会与真实值产生一定偏差,因此需要剔除异常数据。异常值剔除的方法主要有拉依达准则(3σ准则)、狄克逊准则、法拉布斯准则、法格肖维勒准则、法罗马诺夫斯基准则等[16]。由于拉依达准则在剔除异常值简便、无需查表,因此本文采用拉依达准则。

2)基于CRF的识别流程。基于CRF的识别流程如图7所示。首先将原始数据进行预处理,剔除异常值得到待标注的数据,然后根据标注规范进行人工标注,得到标注好的数据。其中,将车道保持数据标注为2,左换道数据标注为3,右换道数据标注为1;将一部分标注好的数据作为训练数据输入到CRF模型中进行训练,得到训练好的CRF模型;将另一部分标注好的数据作为测试数据输入到训练好的CRF模型,最后得到识别结果。

3)评价指标。本文采用自然语言处理领域常用的评价指标,包括精确率P(Precision)、召回率R(Recall)和F1值[17-19]。其评价指标分别为

将正类判断为负类,即应当识别出却没有识别出的驾驶意图的数目;FP(False Positive)表示将负类判断为正类,即没有识别出的驾驶意图的数目;TN(True Negative)表示将负类判断为负类。参数含义如表1所示。

4)仿真結果分析。分别将T=1.5,1.2,1 s的样本数据导入CRF模型,求得T不同时的驾驶意图识别结果如表2所示。由表2可以看出,当T=1 s时的驾驶意图识别效果最好;当T=1.2 s时,LK、LCL和LCR 3种驾驶意图的F1值分别达95.26%,9646%,9519%,均在95%以上,说明CRF的识别效果较为理想,且不需要过多的训练数据即可获得良好的识别结果。相关研究表明,如果能提前1 s预测到危险事故,并对驾驶员进行提醒,可避免很多交通事故。因此,选取T=1.2 s作为意图表征时窗,既能达到理想的识别效果,又可为驾驶员预留出更多的反应时间。

5结束语

本文通过模拟驾驶器采集了7种驾驶行为参数,分别为方向盘转角和方向盘转角速度2种驾驶行为参数以及车辆的横向位置、横向速度、横向加速度和偏航角5种车辆状态和道路参数,作为驾驶意图识别的表征参数。在100 Hz的采样率下,通过偏航角和车辆质心到车道中心线的距离准确地计算出了目标车辆前轮压线点的时刻,从而确定3种意图时窗。本文基于CRF建立了驾驶意图识别模型,在大大减少训练样本的同时获得良好的识别结果,LK、LCL和LCR 3种驾驶意图的F1值分别达到了95.26%、96.46%和95.19%,通过对比最终选取意图时窗T=1.2 s最为合理,能准确地识别出驾驶员的驾驶意图,极大地提高了行车的安全性,并为驾驶意图识别领域的发展提供了参考。后续研究中,可加入双目摄像头对驾驶员的头面部信息进行采集并纳为驾驶意图表征参数,对驾驶意图进行更准确的判断。此外,还可改进算法的结构,加大样本容量来提高识别的准确率。

参考文献:

[1]Koesdwiady A, Soua R, Karray F, et al. Recent trends in driver safety monitoring systems: State of the Art and Challenges[J]. IEEE Transactions on Vehicular Technology, 2017, 66(6): 45504563.

[2]Xing Y, Lv C, Wang H, et al. Driver lane change intention inference for intelligent vehicles: ramework, Survey, and Challenges[J]. IEEE Transactions on Vehicular Technology, 2019, 68(5): 43774390.

[3]Husen M N, Lee S. Continuous car driving intention recognition with syntactic pattern approach[C]∥International Conference on Information and Communication Technology. Bandung, Indonesia: IEEE, 2017: 7176.

[4]郭应时, 付锐, 赵凯, 等. 驾驶人换道意图实时识别模型评价及测试[J]. 吉林大学学报: 工学版, 2016, 46(6): 18361844.

[5]Liao Y, Li S E, Li G, et al. Detection of driver cognitive distraction: An SVM based realtime algorithm and its comparison study in typical driving scenarios[C]∥Intelligent Vehicles Symposium. Gothenburg, Sweden: IEEE, 2016: 394399.

[6]李敏, 曲大义, 张西龙, 等. 基于粒子群算法的神经网络的驾驶意图识别[J]. 科学技术与工程, 2018, 18(36): 261265.

[7]姜顺明, 匡志豪, 王奕轩, 等. 基于贝叶斯网络的车辆并线意图识别[J]. 河南科技大学学报: 自然科学版, 2021, 42(5): 3944.

刘志强, 吴雪刚, 倪捷, 等. 基于HMM和SVM级联算法的驾驶意图识别[J]. 汽车工程, 2018, 40(7): 858864.

[9]Doshi A, Trivedi M M. On the roles of eye gaze and head dynamics in predicting driver′s intent to change lanes[J]. IEEE Transactions on Intelligent Transportation Systems, 2009, 10(3): 453462.

[10]Peng J, Wang K, Xu L, et al. Lane changing decision based on binary finite and zerosum grey game[J]. Journal of Discrete Mathematical Ences & Cryptography, 2017, 20(4): 767779.

[11]袁伟, 付锐, 郭应时, 等. 基于视觉特性的驾驶人换道意图识别[J]. 中国公路学报, 2013, 26(4): 132138.

[12]彭金栓. 基于视觉特性与车辆相对运动的驾驶人换道意图识别方法[D]. 西安: 长安大学, 2012.

[13]李航. 统计学习方法[M]. 北京: 清华大学出版社, 2012.

[14]Lafferty J, Mccallum A, Pereira F C N. Conditional random fields: probabilistic models for segmenting and labeling sequence data[C]∥18th International Conf on Machine Learning. Massachusetts, America: 2001: 282289.

[15]許也, 申柏希, 徐翔, 等. 基于条件随机场的非规范化中文地址解析方法[J]. 地理与地理信息科学, 2019, 35(2): 1218.

[16]朱春杨. 城市快速路驾驶人换道意图识别研究[D]. 西安: 长安大学, 2018.

[17]董永权, 李庆忠, 丁艳辉, 等. 基于约束条件随机场的Web数据语义标注[J]. 计算机研究与发展, 2012, 49(2): 361371.

[18]潘清清, 周枫, 余正涛, 等. 基于条件随机场的越南语命名实体识别方法[J]. 山东大学学报: 理学版, 2014, 49(1): 7679.

[19]邬伦, 刘磊, 李浩然, 等. 基于条件随机场的中文地名识别方法[J]. 武汉大学学报: 信息科学版, 2017, 42(2): 150156.

作者简介:  王亚伦(1996),男,硕士研究生,主要研究方向为汽车动态仿真与控制技术。

通信作者:  陈焕明(1978),男,博士,讲师,硕士生导师,主要研究方向为车辆动态仿真与控制技术。 Email: qdchm@qdu.edu.cn

Research on Driving Intention Recognition Based on Conditional Random Field

WANG Yalun, CHEN Huanming, ZHAO Yan

(College of Mechanical and Electrical Engineering, Qingdao University, Qingdao 266071, China)

Abstract:  A driving intent recognition model based on conditional random field (CRF) is proposed to improve the safety and reliability of advanced driver assistance systems (ADAS). Experiments were carried out in a driving simulators, and the time of the front wheel pressing point of the vehicle was calculated based on the collected yaw angle and the distance from the center of mass of the vehicle to the centerline of the lane, thereby determining the three intention time windows and finally comparing the recognition results. A total of 200 sets of driving samples of 12 testes are recorded. By comparing the differences between the lane keeping (LK) intention, lane changing left (LCL) intention and lane changing right (LCR) intention samples, 7 driving intention characteristic parameters are determined. The simulation results show that the recognition effect based on CRF is very good, and the selection of the intent time window T=12 s is the most reasonable, and the three comprehensive evaluation indexes(F1 value) of LK, LCL and LCR driving intention reached 9526%, 9646% and 9519% respectively, which are all above 95%. It can accurately identify the driver′s driving intention, greatly improve the safety of driving, and provide a reference for the development of driving intention recognition.

Key words: ADAS; CRF; intent recognition; intent window; comprehensive evaluation index