高振海 鲍明喜 高菲 唐明弘 吕颖

（1.吉林大学，汽车仿真与控制国家重点实验室，长春 130000；2.中国第一汽车股份有限公司研发总院，长春 130013；3.汽车振动噪声与安全控制综合技术国家重点实验室，长春130013）

主题词：轨迹预测 行为意图识别 交互式行为

1 前言

智能驾驶局部动态驾驶地图（Local Dynamic Driving Map，LDDM）[1-2]是对复杂的动态行驶交通环境进行态势认知的紧凑道路环境建模方法。智能驾驶系统预期轨迹预测技术基于各类传感器融合信息和高精度地图所给出的道路拓扑结构、交通信息对本车的周边交通车辆进行预测，可得到交通车辆未来时刻的轨迹信息和行为信息，是LDDM的重要组成部分。

近年来，很多学者针对车辆的轨迹预测模型进行了研究。轨迹预测模型大致分为基于物理约束的预测模型和基于数据驱动的预测模型[3-4]。基于物理约束的预测模型主要考虑车辆运动状态、汽车特性以及道路环境等状态量，采用动力学和运动学模型预测车辆未来的运动趋势，但此模型过于依赖车辆当前状态的确定性和模型输入的完整性。Barth 等[5]通过卡尔曼滤波方法[6-8]和蒙特卡罗法对输入变量进行建模，来提高运动轨迹的预测精度，然而，此方法不适用于解决车辆轨迹的高度非线性[9]问题，使得该方法无法预测长时域车辆状态信息。

为解决动态环境下长时域预测准确度低的问题，深度学习在轨迹预测方面受到越来越多学者的关注。Kim等[10]提出利用长短时记忆（Long Short-Term Memory，LSTM）网络预测未来2 s内车辆的位置。Deo等[11-13]提出基于卷积社交池的LSTM网络模型，该方法预测了交通车辆未来行驶轨迹的分布情况，但忽略了交通车辆交互作用的影响。Khakzar 等[14]提出了基于LSTM 网络的双学习模型（Double Learning Model，DLM），但输入特征空间维度的增长会增加网络模型的训练难度，难以满足智能驾驶汽车的实时性要求。Xie 等[15]仅基于LSTM 神经网络构建的车道变换的数据驱动模型，没有考虑车道保持等驾驶行为对模型的影响。Lin等[16]基于时空注意力LSTM着重分析了车辆历史轨迹和相邻车辆对目标车辆的影响，没有考虑驾驶意图对模型的影响。Xiao等[17]基于上下文信息LSTM 构建了车辆行为意图模型和轨迹预测模型，预测车辆未来单模态轨迹，但在轨迹预测模型中没有应用意图识别模型输出的意图概率，导致轨迹预测模型输出的轨迹存在较大误差。

综合对现有研究的分析，当前智能驾驶轨迹预测主要存在3 个问题：缺乏对交通车辆未来态势和具体行为的认知分析；通过神经网络模型预测交通车辆轨迹无法在端到端形式下提高预测精度，需要优化算法补充模型的不足；没有充分考虑被预测车辆和周边交通车辆以及周边交通车辆之间的交互作用信息对模型的影响。

本文提出单双向LSTM（Monodirectional and Bidirectional LSTM，MB-LSTM）对智能驾驶系统预期轨迹的单模态网络预测方法，通过提取被预测车辆和周边交通车辆之间的交互特征信息，构建轨迹预测模型，为车辆认知交通环境的动态态势提供先验信息。

2 模型框架

2.1 交通车辆轨迹预测模型

为准确认知复杂的智能驾驶交通环境，需要对智能驾驶交通车辆及其所处驾驶场景进行具体化预测。智能驾驶交通车辆在驾驶过程中会产生车道保持、左换道、右换道、加减速等多种驾驶行为，在行驶过程中，被预测车辆的具体驾驶行为会影响本车对所处复杂交通行驶环境的认知，同时影响决策规划[18]等模块的决策和控制。

本文提出的交通车辆轨迹预测方法由行为意图识别模块和轨迹预测模块组成，如图1所示。智能驾驶交通车辆行为意图识别模块输出未来车辆出现车道保持、左换道、右换道、加速左换道、加速右换道5种驾驶行为的概率。交通车辆轨迹预测模块输出未来状态车辆的坐标信息(X,Y)和行为信息(vx,vy)，其中，vx、vy分别为车辆的纵、横速度。

图1 交通车辆预期轨迹预测模型

基于LSTM 网络和多层感知机（MultiLayer Perceptron，MLP）构建智能驾驶交通车辆行为意图识别模块，输入交通车辆的历史状态信息，通过归一化指数函数（Softmax函数）计算各驾驶行为意图的概率。

设智能驾驶交通车辆的历史状态特征信息M为车辆运动预测模型的输入向量，C=(c1,c2,c3,c4,c5)为驾驶行为意图识别模块输出的意图类别向量，c1～c5分别代表直线行驶、左换道、右换道、加速左换道、加速右换道5 种驾驶意图类别。智能驾驶交通车辆在动态交通环境中行驶时，换道原因一般是获取更大的行驶空间，或者避免碰撞，降低车辆间的事故发生率。因此，本文将左、右换道具体驾驶行为意图划分为加速换道和一般换道。驾驶意图类别概率向量为：

式中，ωi=P(ci|M),i=1,2,3,4,5为驾驶意图为ci的概率。

交通车辆轨迹预测模块由LSTM和MLP构成，全连接层网络提取车辆历史状态的特征信息作为LSTM 的输入，LSTM 为提高当前状态的前后关联性将输入的特征信息组成上下文向量，车辆轨迹向量结合LSTM生成的上下文向量和驾驶行为意图识别模块输出的行为识别向量。MLP输入车辆轨迹向量，并输出智能驾驶交通车辆未来的轨迹坐标信息和行为信息。

2.2 环境特征信息提取

在复杂的动态交通环境中，智能驾驶交通车辆运动预测不仅需考虑被预测车辆的运动状态，还应考虑被预测车辆的环境信息。为使运动预测模型理解车辆间的交互行为，输入信息包括被预测车辆历史特征信息及环境特征信息，输入信息为：

式中，Mt为t时刻智能驾驶交通车辆预期轨迹预测模型的输入量；为t时刻被预测车辆的特征信息；Et为t时刻被预测车辆周边交通车辆的特征信息和交互作用特征信息；T为车辆历史轨迹时间长度；xt、yt分别为t时刻被预测车辆纵、横坐标；分别为t时刻被预测车辆纵、横向速度；分别为t时刻被预测车辆纵、横向加速度；dhw、thw、ttc分别为被预测车辆与前方车辆的车头间距、车头时距、碰撞时间。

图2 被预测车辆8方位示意

3 交通车辆预期轨迹预测模块

3.1 LSTM

LSTM 网络[19]是门控循环神经网络，包含遗忘门（Forget Gate）、输入门（Input Gate）、输出门（Output Gate）以及与隐藏状态形状相同的记忆细胞，如图3 所示。LSTM 的输入信息为当前时间步输入Xt、上一时间步隐藏状态Ht-1和记忆细胞Ct-1。全连接层激活函数σ和tanh函数为：

图3 LSTM细胞结构

遗忘门决定上一时刻细胞状态中遗忘的比例，输入门决定当前输入是否对细胞状态有贡献，输出门控制候选记忆输出。输入门It、遗忘门Ft、输出门Ot分别为：

候选记忆细胞选择新信息，记忆细胞组合上一时间步记忆细胞和当前时间步候选记忆细胞的信息，并通过输入门、遗忘门控制信息流动：

式中，Wxc∈Rd×h、Whc∈Rh×h为权重参数；bc∈R1×h为偏差参数；为候选记忆细胞。

当前时间步隐藏状态由输出门控制：

3.2 交通车辆行为意图识别模块

交通车辆行为意图识别模块根据被预测车辆及其周边交通车辆的运动状态和交互信息理解其运行规律，能准确判断被预测车辆未来状态的驾驶意图，模型框架见图1。整个模型由LSTM 模块和MLP 组合搭建完成。历史状态信息M首先经过具有128个神经元、激活函数为Relu 的全连接层（Fully Connected Layers，FC），编码后的向量传递至深层循环神经网络中，深层循环神经网络采用双层LSTM 网络结构，隐藏特征为256，随机失活（Dropout）比率为0.5。每一时间步LSTM 单元读取当前时间步的输入特征信息M和历史时间步的隐藏状态Ht-1，更新当前时间步的隐藏状态ht，即ht=f(ht-1,M)。最后经过MLP 神经网络和Softmax函数输出直线行驶、左换道、右换道、加速左换道、加速右换道5种驾驶意图类别概率矩阵C。Softmax函数为：

式中，zn为第n个驾驶行为意图的输出值，驾驶行为意图多分类的输出值在[0,1]范围内且和为1的概率分布；l为驾驶行为意图分类的类别数量。

车辆行为意图识别模块采用多分类交叉熵作为损失函数，采用Adam 优化器，学习率为0.000 2。车辆行为意图识别模块损失函数为：

式中，Lc为行为意图识别模块损失函数；yn是第n个样本标签的独热编码；pn为第n个预测样本的类别概率。

3.3 交通车辆轨迹预测模块

交通车辆轨迹预测模块是由双向LSTM网络、单向LSTM 网络、MLP 网络和经过全连接层特征提取后的行为意图识别模块输出的概率向量Ω。车辆当前时间步的状态不仅与历史时刻的时序状态有关，还和未来的状态有关。被预测车辆当前时刻的特征信息通过双向LSTM网络同时获得历史时刻的时序信息和未来时刻的时序信息，组成上下文信息用于判断车辆当前的状态特征。双向循环神经网络结构如图4所示，双向LSTM中6个独特的权值在每一个时间步重复利用，6个权值分别对应输入到向前和向后隐含层（ω1、ω3）、隐含层到隐含层自己（ω2、ω5）、向前和向后隐含层到输出层（ω4、ω6），但是向前和向后隐含层之间没有信息流动。

图4 双向循环神经网络

历史状态信息M经过2个具有256个神经元、激活函数为tanh 的全连接层，分别传入双向深层循环神经LSTM网络、单向深层循环神经LSTM网络，隐藏特征为512，Dropout 比率为0.5。最后由MLP 网络输出被预测车辆3 s后的轨迹和速度。交通车辆轨迹预测模块损失函数采用均方误差（Mean Square Error，MSE）损失函数，采用Adam优化器，学习率为0.000 5。均方误差损失函数为：

式中，Le为均方误差损失函数；k为样本数量；yi为真实数据；为预测数据。

4 试验分析

4.1 数据预处理

选取德国亚琛工业大学开源的HighD[20]自然车辆轨迹数据集用于训练、验证和测试本文提出的轨迹预测模型。该数据集为智能驾驶提供丰富的测试数据，涉及110 000 辆车，记录了5 600 次完整的车道变换。原HighD 轨迹数据采样频率为25 Hz，为符合试验场景并降低计算成本，将HighD 数据集采样频率定为8 Hz，HighD数据集场景如图5所示。

图5 HighD数据集场景

车辆行为意图识别模块需要提取HighD 数据集中直线行驶、左换道、右换道、加速左换道、加速右换道5种驾驶轨迹，并添加相对应的标签(0,1,2,3,4)。以图6所示的车辆右换道为例，车辆的换道轨迹分类步骤为：提取轨迹与车道线的交点，记录此刻时间；计算偏航角θ；正反向推演采样点偏航角；如果|θ|＜θb（换道起始点航向角阈值），定义为直线行驶，反之定义为换道；确定换道起点和换道终点。偏航角θ为：

图6 车辆右换道轨迹示意

由于车道保持工况远多于换道工况，所以提取的序列中车道保持类别远多于换道类别。随机选取整个数据集中80%的数据作为训练集、10%的数据作为验证集，其余10%的数据作为测试集。

4.2 交通车辆行为意图识别模块性能分析

交通车辆行为意图识别模块的精度对车辆输出轨迹具有至关重要的作用。采用负对数似然损失（Negative Loglikehood Loss，NLL）为模型的损失函数，行为意图识别模型损失函数如图7 所示，训练过程损失值稳定于0.058 4，验证过程损失值稳定于0.079 6，车辆行为意图识别模块收敛效果显著。混淆矩阵（Confusion Matrix）是机器学习中监督学习常用的可视化方法，混淆矩阵如表1 所示。车辆行为意图分类器采用的评价指标为精确率、召回率、F1 分数（F1-Score）、准确率。以二分类为例，精确率p，召回率r，F1分数F1和准确率a分别为：

表1 行为意图识别混淆矩阵 次

图7 行为意图识别模型训练过程

式中，Tp、Tn、Fp、Fn分别为真正例、真负例、假正例、假负例数量。

行为意图识别性能度量如表2所示，输入历史轨迹时域3 s，行为意图识别性能指标均较好：车辆驾驶行为精确率p均达到90%以上；直线行驶、左换道和右换道驾驶行为召回率达到97%以上，加速左换道和加速右换道驾驶行为召回率达到81%以上；车道保持、左换道和右换道驾驶行为F1 分数达到97%以上，加速左换道和加速右换道驾驶行为F1 分数达到85%以上；准确率反映了模型的准确程度，模型的准确率达到了98%以上，行为意图识别模型准确度如图8所示。由图8可知，虽然在意图识别模块会产生一定的误判，但很少产生相反类型的判断，由此表明车辆行为意图识别模块具有较好意图识别能力，满足车辆运动轨迹预测模块的要求。

图8 行为意图识别模型准确度

表2 行为意图识别性能度量

4.3 完整模型性能分析

以均方根误差（Root Mean Square Error，RMSE）作为完整模型预测结果的衡量标准，对比仅被预测车辆位置特征信息（XY-LSTM）、增加被预测车辆的速度特征信息（VLSTM）、增加周围车辆的特征信息（E-LSTM）模型在预测时域为3 s内的坐标均方根误差，以检验模型的有效性。

如图9 所示，通过对比XY-LSTM、V-LSTM、ELSTM 和本文提出的MB-LSTM 算法可以看出，在LSTM网络架构的基础上，输入被预测车辆的位置信息以及增加速度信息和周围车辆的特征信息，均能大幅提高模型精度，且本文提出的MB-LSTM 在长时域轨迹误差低于其余算法，模型精度也处于较高水平。

图9 模型RMSE对比

本文从测试集中挑选一段完整的代表性轨迹序列，滑动输入车辆行为意图识别模块。所提取的轨迹序列车辆编号为666。图10～图12 分别给出了目标车辆在不同时刻下车辆666 轨迹序列的历史信息和预测信息的驾驶行为意图识别概率、轨迹坐标和车辆的侧、纵向速度。x轴为车辆随时间变化的纵向坐标位置，原始y轴坐标信息与图10～图12中y轴坐标信息相反，因此车道6在车道7的左侧，属于加速左换道行为。

图10 换道初始点前性能预测

图11 换道初始点时性能预测

图12 换道初始点后性能预测

图10 中预测时间是距换道初始点1.08 s 处，图12中预测时间是距换道初始点2.04 s处。

从图10a中可以看出，在换道初始点前行为意图预测最大概率为车道保持，为99.9%，且在轨迹序列离换道初始点前1.08 s 就预测未来可能的意图行为加速左换道。在换道初始点时，车道保持概率不断下降，从99.9%降为接近于0%，而车道向左加速换道概率不断增加，从0%增加至99.9%。由此可见，驾驶行为意图识别模块具有良好的辨别车辆行为的能力。

而图11a、12a 中，随着距离换道初始点的距离越近，车道保持状态特征信息减少，换道行为略有延迟并且换道行为会产生一定的误差。图11a中，加速换道行为概率从0%提高至99%所需时间为0.72 s，并且左换道突然上涨，最大概率为46.84%，但换道过程中，最大概率仍为车道保持和加速左换道，对判断驾驶行为意图影响较小。

在图12a中，加速换道行为概率从0%提高至99.9%所需时间为0.84 s，在换道过程中，驾驶行为最大概率依次为车道保持、左换道和加速左换道，并且左换道的行为概率最大为67.93%，但随着时间步增长，左换道概率不断减小，加速左换道概率不断提高，左换道最大概率持续时间仅为0.12 s。通过图10b、图11b、图12b中车辆的预测轨迹和真实轨迹的对比可以看出，预测轨迹和真实轨迹在换道初始点前、换道初始点时和换道初始点后趋势相同并且误差相差不大，由图10b 可知，在换道初始点前1.08 s就可以准确预测车辆未来3 s的轨迹，表明所提出的模型在轨迹预测方面有良好的表现。图10c、图10d、图11c、图11d、图12c、图12d 表明，预测与原始的侧、纵向速度具有一致的趋势，预测时间越短，精度越高，且随着预测时间的增长，预测精度不断下降。换道初始点前预测的纵向速度最大相差0.72 m/s，横向速度最大相差0.072 58 m/s。

由此表明，所提出的MB-LSTM 运动预测模型误差较小且具有良好表现，接近车辆真实的行驶轨迹。

5 结束语

本文设计了一种基于MB-LSTM 网络的驾驶行为意图识别模型和轨迹预测模型的单模态预期轨迹预测方法，提取复杂的动态交通环境中被预测车辆与周边交通车辆之间的状态特征信息和环境交互特征信息，驾驶行为意图识别模型识别车辆车道保持、左换道、右换道、加速左换道以及加速右换道的多种行为意图概率，轨迹预测模型根据历史3 s 的状态特征信息预测车辆未来3 s的坐标信息和侧、纵向速度，并利用HighD数据集进行训练和测试。验证结果表明，所提出的轨迹预测模型基于被预测车辆和周边交通车辆的状态信息以及交互作用信息在驾驶行为意图识别和轨迹行为输出方面均具有良好的表现，弥补了智能驾驶系统预期轨迹预测具体行为和环境交互特征信息的不足，可为后续工作交通环境的动态态势认知提供先验信息。