基于触觉信息的驾驶员操作意图识别方法

2023-12-13张庆余

汽车实用技术 2023年22期

张蕊，赵帅，张庆余，张骁

基于触觉信息的驾驶员操作意图识别方法

张蕊，赵帅*，张庆余，张骁

（中汽智联技术有限公司，天津 300000）

随着人工智能和自动驾驶技术的不断发展，以电动化、网联化、智能化和共享化为基础的自动驾驶技术已成为未来汽车工业的主要发展方向。然而，受当前自动驾驶技术和相关政策法规制定的限制，可以预见，人机共驾将作为面向自动驾驶的过度阶段将长时间存在。因此，针对人机共驾中驾驶员操作意图识别问题，文章提出了一种基于卷积神经网络的机器学习方法，从驾驶员最长接触的转向盘入手，通过对触觉压力图像的特征训练，将操作意图的识别问题转化为对图像的分类识别问题，实现了对不同驾驶意图（紧抓握行驶意图、松抓握行驶意图、危险驾驶意图）的准确识别。仿真结果表明，意图识别准确率超过97%，对将来人机共驾控制中车辆辅助驾驶系统的研究具有重要的理论和应用价值。

自动驾驶；人机共驾；意图识别；触觉信息；机器学习

随着人工智能和自动驾驶技术的不断发展，汽车逐渐发展成为具有一定环境感知和自主决策规划能力的“自动化智能体”，并且以电动化、网联化、智能化和共享化为基础的自动驾驶技术已成为未来汽车工业的主要发展方向[1]。关于自动驾驶的分级，目前全球汽车行业普遍公认的智能汽车等级划分标准将其分为六个阶段，L0为无自动驾驶功能或技术、L1为辅助驾驶、L2为部分自动化、L3为有条件自动化、L4为高度自动化和L5为完全自动化[2]。

然而，虽然当前汽车的智能化水平在不断提升，但仍然停留在L0－L2级。并且由于当前自动驾驶技术仍然不够成熟，相关政策法规制定还不够完善，智能汽车在未来几年内难以实现从L2到L5的快速发展[3]。可以预见，人机共驾将作为面向无人驾驶的过渡阶段长时间存在，即驾驶员和自动化系统共同完成驾驶任务的技术架构。在当前自动驾驶的研发和应用阶段，驾驶员作为绝对主体依然扮演着重要角色[4-5]。

在“人-车-路”系统中，驾驶员和自动驾驶系统作为两个驾驶主体，共享决策控制权，在不同的行驶环境中协同完成驾驶任务。自动驾驶系统具有精准化的控制能力，可以根据环境主动控制车辆精确运动，提高行驶安全性，同时减轻驾驶员的工作负荷[6-7]。驾驶员的操作意图作为衔接自动驾驶系统的关键部分，可以为人机共驾系统提供支持。因此，如何提高驾驶员状态监测和操作意图识别的准确性，实现自动驾驶系统和驾驶员之间的自然交互，实现人机优势互补，已成为当前研究的热点话题[8-9]。

近年来，针对人机共驾中的驾驶员状态监测和驾驶操作意图识别作了大量研究。目前关于驾驶员状态监测的研究主要集中在识别疲劳驾驶、分心驾驶以及其他不当驾驶行为，主要通过视觉捕捉工具，监测驾驶员的眼睑运动、头部姿态和面部表情[10]，采用机器学习算法推断驾驶员的疲劳和注意力分散程度[11]。除了计算机视觉的手段外，还有学者通过采集驾驶员的生理信号（如脑电信号、心电信号和肌电信号等），识别驾驶员的操作意图[12]。然而，上述方法都要求驾驶员佩戴检测设备，这必将会对驾驶员的操作产生干扰，不利于行车安全。驾驶员意图识别的过程从本质上讲就是模式识别的过程，最具代表性的是支持向量机、隐性马尔可夫模型和稀疏贝叶斯学习。通过采集表征驾驶员操作意图的转向盘转角、车速、挡位、油门踏板和制动踏板等行车参数，驾驶员自身状态特征参数信息和车辆的周边环境信息，在多信息融合数据的支持下，运用相关算法，建立驾驶员意图辨识模型，从而识别出驾驶员的转向、换道、超车、加速、停车、制动等操作意图，进一步保障驾驶员的行车安全[13-18]。

从用户的角度来说，出行的第一要素便是安全。转向盘作为人机交互在物理层面的主要接口，从驾驶员最长接触的汽车转向盘出发，实时感知驾驶员的操作意图，理应成为解决驾驶员安全驾驶问题的第一突破点。智能汽车的诞生，意味着转向盘同时也要具备更多的智能化功能，能够主动识别和发现驾驶员的危险因素，进行早期的预防和提示。驾驶车辆时，驾驶员的手不能离开转向盘，因此，如果触觉信息能够在一定程度上，通过转向盘作为媒介对驾驶员不良习惯予以预先的纠正和引导，并通过预警的方式来构建安全行驶的系统，将从根源上解决驾驶隐患，保证行车安全。

现在大多数基于触觉的人机共享控制研究，主要是根据驾驶员作用在转向盘上的力矩来感知驾驶员的操作意图，并通过转向盘力矩来辅助驾驶员完成驾驶任务，如基于驾驶意图的触觉辅助转向系统研究，通过调整转向转矩，可以在智能汽车遇到紧急情况时保证车辆的平稳行驶[19-23]。虽然这些研究在某种程度上提高了车辆运行的安全性，但忽视了驾驶员之间的差异性及其他因素的影响。一方面，驾驶习惯受驾驶员的生理参数影响，并具有一定的随机性，驾驶员与自动驾驶系统的交互过程难以建立精确的人机共享模型；另一方面，上述研究只考虑了驾驶员施加的转向盘转角，缺乏了表征驾驶员在极限工况下驾驶意图的物理量描述，极易造成对驾驶员正常行驶意图的错误估计。

综上所述，研究驾驶员的神经肌肉状态，将更有利于识别驾驶员与自动化系统之间的合作状态，对于避免驾驶员和智驾系统之间的冲突和保证行车安全至关重要。同时，驾驶员的驾驶技能也在不断地变化，是长期的在线学习和优化的过程。为此，本文采用能够反映驾驶员神经肌肉状态的转向盘抓握信号，采用基于卷积神经网络的学习算法，选取不同驾驶员的抓握图像信息（松抓握、紧抓握和非正常抓握）作为样本库，通过训练得到驾驶员的驾驶意图模型，得到松抓握（正常行驶）、紧抓握（复杂交通情景）和非正常抓握（危险操作）3种意图识别结果，为后期降低驾驶员操作意图和提升行车安全的相关研究奠定了坚实基础。

1 柔性触觉传感器及原理

1.1 传感器结构原理

本文采用的电容阵列柔性压力传感器原理如图 1 所示。

(a) 柔性传感元件阵列结构

(b) 柔性电容单元等效电路

传感器采用平行板电容原理制作而成，其结构原理如图1(a)、图1(b)所示，其柔性单元电容表示为

式中，为电极面积；为上下电极之间距离；介电常数=0r；r为相对介电常数；0≈8.85× 10-12F/m。

1.2 传感器配件及整体结构

本文采用的触觉传感器配件及整体结构如图 2 所示，整体尺寸为150 mm×150 mm，导电布宽度为10 mm，上下电极板交叉组成10×10个面积为100 mm2的电容单元。

图2 触觉传感器配件及整体结构

1.3 触觉压力传感器标定与封装

1.3.1触觉压力传感器标定

采用ZQ-21 A-2型压力计对电容式压力敏感单元在0～550 kPa范围内进行重复加载实验，传感器标定实验如图3所示。

如图4(a)所示，传感器重复性误差约为 2.75%；如图4(b)所示，传感器最大迟滞误差为5.88%；如图4(c)所示，在该传感器上随机选择了10个不同位置的电容单元进行了输入（压强）标定，一致性最大误差约为12.2%。通过传感器的性能曲线可知，该传感器具有良好的压力感知功能，能够满足对驾驶员手抓握力检测的要求。因此，本文选用该传感器实现驾驶员手握转向盘时中触觉抓握信息的采集。

(a) 触觉传感器电容单元重复性

(b) 触觉传感器电容单元迟滞性

1.3.2柔性触觉压力传感器封装

为了实现模拟在驾驶过程中对人手抓握转向盘的图像信息采集，本文选用厚度为0.5 mm耐水性良好的乙烯-醋酸乙烯酯共聚物（Ethylene-Vinyl Acetate copolymer, EVA）海绵胶带对传感器进行封装。手柄本体采用3D打印成型的柱状结构模拟转向盘的结构（图5柱状结构），白色十字交叉部分模拟驾驶员手心抓握位置。

图5 触觉传感器封装组件及成品

2 触觉信息提取与转向盘抓握意图描述定义

2.1 转向盘抓握意图描述与定义

现实生活中，汽车的转向盘完全由驾驶员控制，最为推荐的抓握方式就是三点九点抓握法，相当于转向盘的左侧和右侧各放一直手，这样更加有助于行车过程中的安全性。然而，在实际的驾驶过程中，存在着许多危险或错误的抓握方式，为行车安全埋下了重大隐患，如单手抓握、单个手指勾握，甚至有时双手脱离转向盘，一旦发生紧急情况，后果将不堪设想。通过研究发现，在一些低速或比较宽阔车辆较少的直线行驶场景中，驾驶员一般双手会比较放松的握在方向盘上，而在一些急转弯或复杂路况的场景中，驾驶员一般会双手紧握方向盘操作汽车行驶，以保证行车过程中的安全。几种常见的驾驶员转向盘抓握方式如图6所示。

图6 驾驶员转向盘抓握方式

驾驶员的操作意图从本质上是一种模式识别，并且不同驾驶员的操作意图在实际操作过程中具有一定的相似性，导致无法硬性的对各种意图加以区分，因此，模式识别是一种适合于驾驶员驾驶意图辨识的方法。结合对驾驶员转向盘抓握方式和抓握力度的描述，本文将驾驶员的转向盘抓握意图分为3类：1）紧抓握状态，对应低速宽阔路况的直线行驶意图，自动驾驶系统占主导；2）松抓握状态，对应转向或复杂路况的行驶意图，驾驶员主导；3）危险（错误）抓握状态，对应非正常行驶意图，自动驾驶系统需给出报警提示或正确引导。

2.2 触觉信息采集

为了表征驾驶员的抓握状态信息，需要将封装好的触觉传感器径向展开，粗线部分为传感器封装时的黏合处，沿粗线部分进行分割，俯视图方向顺时针展开如右侧平面图所示，本文以白色十字交叉部分为原点构建平面，如图7所示。

图7 触觉传感器平面展开图

为了更加清晰地表征人手的抓握状态，在图像显示程序中对原始数据进行了插值处理。在图像采集阶段，要求受试者尽量将手掌中心放于白色十字交叉位置，从上到下分别为非正常抓握、紧抓握（习惯手为左手）和松抓握（习惯手为右手）。如图8所示，可以明显看出，在正常抓握状态下，虽然惯用手不同，施力方式稍有区别，但松紧抓握的区分度能够用来区分驾驶员在不同路况下的驾驶意图。

(a) 非正常抓握

(b) 左手紧抓握

2.3 触觉信息特征提取

根据上文可知，驾驶员在行车过程中转向盘抓握压力信息可以间接体现人体上肢关节运动状态和肌肉的活性，触觉压力图像是某一时刻对驾驶员上肢肌肉活性的间接描述。因此，本节将采用触觉压力信息来提取驾驶员在任务层的操作意图。图9是从众多触觉图像中随机抽取的3幅图像，可以明显看出，驾驶员在抓握触力转向盘时，主要通过大鱼际、大拇指以及食指、中指和无名指的指肚部位施加抓握力。虽然在抓握过程中手心和其他部位几乎不施加力，不能完整显示驾驶员的手型，但这并不影响对驾驶员抓握状态的描述。

图9 驾驶员抓握状态表征

从图9中可以看出，在紧抓握状态下的接触面积要明显大于松抓握状态，并且在紧抓握状态下，驾驶员手部施加的压力要远远大于松抓握状态，二者区分度明显。并且可以明显看出，驾驶员的非正常（危险）抓握状态下的压力分布只是零星的几个接触点，与上述两种状态区分明显，另外，在驾驶员不抓握状态下，触觉图像不显示任何信息。综上所述，本文通过触觉压力信息对驾驶员在任务层的驾驶意图进行表征，针对驾驶员在人机共驾系统中的驾驶意图进行分类定义。

3 卷积神经网络模型构建及训练

由于驾驶员之间存在性别、身高、体重、肌肉力量、习惯用手、施力特点等个体差异，不同驾驶员的触觉图像会存在明显差异，即使对于同一驾驶员做同样的抓握动作时，采集到的触觉信息也会存在微小差异，对于上述三种驾驶员操作意图状态的区分无法给出明确的界定方法。因此，本节采用卷积神经网络的机器学习方法，对触觉压力图像的特征进行训练，构建不同类型操作意图的分类器，将操作意图的识别问题转化为对图像的分类识别问题，实现对驾驶员驾驶意图的识别。

3.1 卷积神经网络基本结构

卷积神经网络的重要思想包括局部感知野、权值共享和下采样。由于图像局部区域具有很强的相关性，因此，通过在更高层将局部的信息综合起来即可得到图像的全局信息。权值共享策略在减少训练参数的同时，提升了训练模型的泛化能力。下采样操作主要提升了模型的鲁棒性。

1.输入层

卷积神经网络的输入层选用经过归一化处理的驾驶员抓握图像，每张图像的分辨率为10×10像素，并将像素值归一化为0～1之间的数字。

2.卷积层

卷积层主要实现对输入图像的多维特征提取。本文采用卷积核的尺寸为33，移动步长为1。

3.激励层

激励层中的激活函数提供了卷积神经网络的非线性建模能力，将线性映射的表达空间扩增到了非线性空间。本文采用ReLU激励函数，具有收敛速度快、求梯度简单的优点。

4.下采样层

下采样层又称为池化层，用于压缩数据和参数的数量，减少过拟合。本文采用最大池化操作，池化区域为22，步长为2。

5.全连接层

全连接层主要负责对图像特征进一步降维操作，进一步综合特征得到输入图像特征的高层含义，实驾驶意图模式分类。

6.输出层

本文主要是对驾驶员抓握图像的数据集识别分类，输出层可以看作是一个节点数目为3的分类器，分别代表低速直线行驶意图、转向或复杂路况驾驶意图和非正常（危险）驾驶意图三种模式。本文采用的卷积神经网络整体结构如图10所示，各层的具体网络参数如表1所示。

图10 卷积神经网络整体结构

3.2 卷积神经网络模型训练过程

卷积神经网络模型训练过程包括正向传播和反向传播，在正向传播的过程中，卷积层通过卷积核来提取输入图像的多维局部特征，将得到的特征图输入到激励函数，从而得到新一层的特征图。其中，正向传播各公式参数含义如表2所示。卷积核的工作过程为

本文选用ReLU作为激励函数，表达式为

本文选用的池化过程为

表2 正向传播各公式参数含义

在多分类问题中，对于训练集{(1,1),...,(x,y)}，类标签为y∈{1,2,...,}。对于给定的输入(n)，用假设函数h(x)针对每一个类的概率为((n)=|(n)),=1,2, ...,。假设函数h(x)的公式为

将(n)分为第类的概率记为

式中，为模型参数，本文的类别一共分为3类，分别用1、2、3表示。

反向传播过程中，采用反向传播算法进行误差传递，使用随机梯度下降法更新权值参数，使得损失函数达到最小，直到网络收敛达到迭代终止条件才停止整个训练过程。其中，反向传播各公式参数含义如表3所示。损失函数计算公式如下：

采用随机梯度下降法更新权值，权重迭代表达式为

表3 反向传播各公式参数含义

3.3 数据集建立与预处理

在卷积神经网络的分类过程中，为了保证数据的全面性和各类样例的均匀性，本文的数据集由3 000张驾驶员抓握形成的触觉传感器显示图像组成，共分为低速直线行驶意图、转向或复杂路况驾驶意图和危险驾驶意图三种模式，数据集如表4所示。驾驶员手掌抓握图像尺寸统一为10×10像素。

表4 数据集

参与者生理参数如表5所示。

表5 参与者生理参数

训练集中部分手掌抓握图像如图11所示，依次为非正常抓握状态、松抓握状态和紧抓握状态。为了消除偶然性，提升训练的准确率，对建立的 3 000张数据集进行了随机打乱重排处理。

(a) 非正常抓握状态

(b) 松抓握状态

4 驾驶员操作意图识别实验与结果分析

本实验中的训练中本数量（batchsize）预设为100，不同的学习率和迭代次数对应的驾驶员操作意图识别准确率如表6、表7所示。

表6 训练集准确率

表7 测试集准确率

从表6、表7中可以看出，当训练集在迭代次数为110，学习率为0.6时，准确率最高，达到了98.2%；而测试集在迭代次数为130，学习率为0.6时准确率最高，达到了97.6%。综合考虑，本文将最终的迭代次数定位110。

图12 准确率变化曲线

图13 损失函数变化曲线

图12为训练集和测试集在学习率为0.6并且迭代次数为110时对应的准确率变化曲线。图13为在该参数设置下的损失函数变化曲线。为了评价卷积神经网络分类算法的性能，本文采用准确率指标来进行评价：

表8 操作意图模式识别结果

操作意图模式识别结果如表8所示。综上所述，最终本文采用的卷积神经网络训练模型参数如表9所示。

表9 卷积神经网络训练模型参数

5 结论

针对人机共驾中驾驶员操作意图识别问题，本文提出了一种基于卷积神经网络的机器学习方法，从驾驶员最长接触的转向盘入手，通过对触觉压力图像的特征训练，将操作意图的识别问题转化为对图像的分类识别问题，实现了对驾驶员不同驾驶意图（松抓握-低速宽阔车辆较少的直线行驶意图，自动驾驶系统占主导；紧抓握-转向或复杂路况的行驶意图，驾驶员主导；危险（错误）抓握状态-非正常行驶意图，自动驾驶系统需要给出报警提示或正确引导）的准确识别，对将来人机共享控制中车辆辅助驾驶系统的研究具有重要的理论和应用价值。

基于触觉反馈的变阻抗控制已成为机器人领域中处理人机交互的重要方法，但在智能汽车的人机共享控制领域还鲜有应用。驾驶员和汽车之间转向盘力是一个动态交互的过程，驾驶员手部肌肉产生的阻抗特性会随着不同环境下的不同的驾驶意图而改变，通过引入触觉信息实现变阻抗控制以为人机共驾系统的设计提供新思路。未来，针对基于转向盘的触觉共享控制研究，可以考虑将触觉信息和转向盘的力矩相结合的方式，通过融合触觉和力矩信息，将触觉信息引入到人机共驾的力反馈设计中，实现紧急和放松任务的适时切换。既能保证驾驶员驾驶意图的有效传达，又能保证能够根据驾驶员的操作意图平稳过渡控制权，使自动驾驶系统能够生成适当大小的控制转矩向驾驶人表达自身的驾驶意图，协助驾驶员安全平稳地完成驾驶任务。

[1] 杨俊儒,褚端峰,陆丽萍,等.智能汽车人机共享控制研究综述[J].机械工程学报,2022,58(18):31-55.

[2] SAE On-road Automated Vehicle Standards Committee. Taxonomy and Definitions for Terms Related to Driv- ing Automation Systems for on-road Motorvehicles: SAE J30-16[S].Warrendale,PA:SAE International,2021.

[3] XING Y,HUANG C,LÜ C.Driver-automation Colla- boration for Automated Vehicles:A Review of Human- centered Shared Control[C]// IEEE.2020 IEEE Intelli- gent Vehicles Symposium(IV).Piscataway:IEEE,2020: 1964-1971.

[4] NUNES A,REIMER B,COUGHLIN F. People Must Retain Control of Autonomous Vehicles[J].Nature, 2018,556:169-171.

[5] 胡云峰,曲婷,刘俊,等.智能汽车人机协同控制的研究现状与展望[J].自动化学报,2019,45(7):1261-1280.

[6] 刘瑞,朱西产,刘霖,等.基于非合作模型预测控制的人机共驾策略[J].同济大学学报(自然科学版),2019, 47(7):1037-1045.

[7] 韩嘉懿,赵健,朱冰.面向智能汽车人机协同转向控制的强化学习变阻抗人机交互方法[J].机械工程学报, 2022,58(18):141-149.

[8] WANG W,NA X,CAO D,et al.Decision-making in Driver-automation Shared Control:A Review and Perspectives[J].IEEE/CAA Journal of Automatica Sinica,2020,7(5):1289-1307.

[9] MUSLIM H,ITOH M.A Theoretical Framework for Designing Human-centered Automotive Automation Systems[J].Cognition,Technology & Work,2019,21(4): 685-697.

[10] 邓力夫,罗嗣乾.人工智能时代汽车传感器的现状与展望[J].汽车实用技术,2021,46(2):204-206.

[11] 宗长富,代昌华,张东.智能汽车的人机共驾技术研究现状和发展趋势[J].中国公路学报,2021(6):214-237.

[12] 冯吉伟.基于驾驶员意图识别的共驾型智能车辆转向引导力矩控制研究[D].聊城:聊城大学,2023.

[13] 郑亚奇.基于驾驶员意图的智能车辆路径跟随研究[D].长沙:湖南大学,2023.

[14] 王畅.基于隐形马尔科夫模型的驾驶员意图辨识方法研究[D].长春:吉林大学,2011.

[15] 萧超武.基于HMM的驾驶模式识别方法研究及应用[D].广州:华南理工大学,2015.

[16] 弓馨.基于模糊逻辑的驾驶员制动意图辨识方法研究[D].长春:吉林大学,2014.

[17] 王玉海,宋健,李兴坤.基于模糊推理的驾驶员意图识别研究[J].公路交通科技,2005,22(12):113-118.

[18] 赵枫.冰雪环境下基于神经网络的多参数驾驶员意图识别[D].长春:吉林大学,2023.

[19] NGUYEN A T,SENTOUH C,POPIEUL J C.Driver Automation Cooperative Approach for Shared Steering Control Under Multiple System Constraints:Design and Experiments[J].IEEE Transactions on Industrial Electronics,2017,64(5):3819-3830.

[20] MA B,LIU Y L,NA X X,et al.A Shared Steering Con- troller Design Based on Steer-by-wire System Consi- dering Human-machine Goal Consistency[J].Journal of the Franklin Institute,2019,356(8):4397-4419.

[21] HUANG M Z,GAO W N,WANG Y B,et al.Data-driven Shared Steering Control of Semi-autonomous Vehicles [J].IEEE Transactions on Human-Machine Systems, 2019,49(4):350-361.

[22] 丁飞黎,乾龙,雷飞,等.动态轨迹跟踪下力矩相关性驱动辅助的人机协同转向预测控制策略研究[J].机械工程学报,2022,58(6):143-152.

[23] 邓修金,王艳阳,黄秋实,等.基于触觉引导的L2级智能汽车人机共享控制技术综述[J].交通信息与安全, 2022,40(5):23-33.

Driver Intention Recognition Method Based on Touch Information

ZHANG Rui, ZHAO Shuai*, ZHANG Qingyu, ZHANG Xiao

( CATARC Intelligent and Connected Technology Corporation Limited, Tianjin 300000, China )

With the continuous development of artificial intelligence and autonomous driving technology, autonomous driving technology based on electrification, networking, intelligence, and sharing has become the main development direction of the future automotive industry. However, due to the limitations of current autonomous driving technology and relevant policies and regulations, it can be foreseen that human-machine co-driving will exist as a transitional stage towards autonomous driving for a long time.Therefore, this paper proposes a machine learning method based on convolutional neural networks to address the issue of driver operation intention recognition in human-machine co-driving. Starting from the steering wheel that the driver has the longest contact with, the problem of operation intention recognition is transformed into a problem of image classification and recognition through feature training of tactile pressure images, accurate identification of different driving intentions of drivers (grip driving intentions, grip driving intentions, dangerous driving intentions) has been achieved. The simulation results show that the accuracy of intention recognition exceeds 97%, which has important theoretical and practical value for the future research of vehicle assisted driving systems in human-machine co-driving control.

Autonomous driving; Human-machine co-driving; Intention recognition; Tactile infor- mation; Machine learning

U426.1

1671-7988(2023)22-49-11

10.16638/j.cnki.1671-7988.2023.022.010

张蕊（1993－），男，硕士，助理工程师，研究方向为智能网联汽车仿真验证技术，E-mail:zhangrui01@ catarc.ac.cn。

赵帅（1988－），男，硕士，高级工程师，研究方向为智能汽车场景仿真，E-mail:zhaoshuai@catarc.ac.cn。