滕 健，黄佳慧，宫 凯

基于BCI的虚拟现实模拟驾驶教学系统设计

滕 健，黄佳慧，宫 凯

(岭南师范学院机电工程学院，广东 湛江 524048)

为解决传统模拟驾驶过于强调正常场景的训练，缺少对意外场景下学员心理状态的监测与协助，且无法反馈和评价驾驶心理状态等问题。以脑机交互(BCI)技术与虚拟现实(VR)为基础开发VR模拟驾驶教学演示系统，利用三维动力学引擎开发了驾驶模拟操作系统，在硬件上设计可穿戴式脑电波信号检测头盔，基于BCI技术实现对学员模拟驾驶大脑状态的监控与数据评估；有突发模拟事件发生时，系统通过脑机接口技术自动制动或辅助驾驶。在完成模拟驾驶训练的同时可以根据脑波(EEG)反馈在意外事件中给出紧急解救措施，根据EEG情况评估学员的发挥以及心理素质，为虚拟驾驶等认知负荷较高的教学训练提供了更为丰富与直观沉浸式交互操作方式，提高了该领域教学训练系统的实用性与可用性。

脑机交互；虚拟现实；模拟驾驶；教学演示

BCI脑-机接口(brain-computer interface, BCI) 技术是20世纪70年代发展起来的一项前沿技术，其利用传感器将人脑电波信号转换成控制信号，可实现人脑直接与计算机或者电子设备交互操作的技术，涵盖了神经科学、模式识别、信号处理、计算机科学与人机交互技术等多个学科[1]。WEEVERS等[2]进行包括BCI脑电、触觉反馈、声音反馈等多通道感知信息在虚拟驾驶教练(virtual driving instructor)系统中的应用研究，开发了简易的智能驾驶控制系统使得模拟驾驶学习过程变得更加生动灵活。ZANDER等[3]研究了初学驾驶者在自动驾驶场景中自我适用性的速度和准确性，重点讨论了该实验中初学者BCI数据的质量、驾驶相关运动后头部位置的偏移、系统的可用性和复杂性以及随着时间的推移BCI头盔佩戴舒适性对驾驶的影响。MELANIE等[4]在驾驶模拟器中进行一小时的单调正常驾驶任务，记录年轻人和老年人的驾驶脑电波动情况与心电水平，发现2组在精神负荷、精神资源消耗方面存在显著差异。国内基于BCI的虚拟现实(virtual reality, VR)研究主要集中在技术应用领域：赵启斌[5]利用运动想象产生的思维模式，开发了基于异步BCI技术的“脑驱动”模拟驾驶系统，实现了单纯依靠自发想象思维在三维虚拟环境中进行汽车驾驶控制，为残障人士驾驶汽车以及BCI技术控制数字娱乐提供了技术与理论支撑。PAN等[6]研究和设计了一种基于脑电图的虚拟驾驶原型系统，利用BCI技术将用户的脑电波(electroencephalogram, EEG)信号通过采集、分析和识别转换为控制命令，用于在三维城市环境中对虚拟汽车进行控制，提高了BCI控制虚拟驾驶体验的沉浸感与逼真性。杨帮华等[7]开发了虚拟现实反馈方式的BCI反馈系统。综上，国内外在BCI脑电主动控制虚拟现实驾驶有较多的研究，在不同虚拟现实驾驶任务情况下，驾驶员在BCI驾驶控制精神负荷、精神资源消耗情形也有了详细研究。针对BCI在虚拟现实驾驶被动控制的行车辅助方面研究较少的情况，本文以基于BCI技术的虚拟现实模拟驾驶教学演示系统为设计研究对象，在硬件方面开发了脑电波头盔，用于脑电波信号检测与处理，利用基于动力学的三维引擎环境开发的驾驶模拟器操作系统，在完成行驶模拟驾驶训练的同时根据EEG反馈在意外事件中给出紧急解救措施，根据EEG情况评估学员的发挥以及心理素质，从而有针对性地对不同学员制定差异化驾驶培训方案，可以有效改善虚拟现实环境训练带来的过高认知负荷水平，提高训练的针对性与效率。

1 BCI-VR系统相关技术研究

1.1 基于BCI的虚拟现实技术原理

基于BCI的VR技术系统通常由BCI接收控制系统和虚拟现实三维表现系统VR组成。BCI一般利用脑电设备，采集受试者脑头皮层电信号，通过对脑波EEG过滤、除噪、特征处理得到最终分析结果，形成BCI控制信号[8]。VR软件系统在计算机上通过三维建模与渲染技术实现对真实环境和物体的模拟，其既可以收集用户的操作数据反馈给BCI接收控制系统，同时又可以接收脑电信号来直接控制VR物体。为实现系统总体的实时反馈与控制，2部分系统需要在总体系统框架下流畅连接，并可高效地输出控制指令，VR部分要做到逼真展现BCI所需感官虚拟体验和迅速触发BCI所需生理信号并提供能使用户控制的反馈任务。图1为本文基于BCI的VR技术系统的工作流程。

图1 基于BCI的虚拟现实技术系统的工作流程

1.2 BCI系统信号采集处理方法

首先本文脑电信号采集采用ThinkGear作为BCI采集与控制芯片，内置TGMA核心和一个干电极，通过配套ThinkGear Connector (TGC)软件，由TCP端口读取数据流，经Json解析准确获取脑波EEG数据。ThinkGear可以获取佩戴者波、波、波、波、波、PoorSignal、Attention等EEG信号。通过蓝牙通道与PC端VR系统传输、交换数据。

一般EEG信号是从头皮表层记录得到，信号较微弱，容易受到外界以及自身主客观因素的影响，采集的EEG信带有各种类型的伪迹比如脉搏、眼电、肌电等。伪迹减法、主成分回归分析法和独立成分降维法等都是常用的伪迹减法[9]。本文根据所采用的ThinkGear芯片，通过TGMA芯片接收EEG信号并分析识别眼动和肌电伪迹，采用伪迹减法得到

其中，y()为去噪后的EEG;()为设备获取的EEG；(i)为噪声；k为比例常数，即矫正后的EEG是从测量的EEG信号中去除一定比例的伪迹得到的。为标准差；r为和通道的相关系数。

特征提取即从非平稳随机EEG信号中发现并提取表征意识任务的最有效的特征，使得从不同意识任务提取出的特征差异最明显。特征提取是模式分类的基础，本文通过ThinkGear公司成熟的特征提取方案对大脑不同思维任务下EEG信号特征进行分类。该系统方案具有较高的响应速度，保证BCI系统的通讯效率与稳定性。

1.3 虚拟现实驾驶系统原理

虚拟现实驾驶是对VR技术的高程度应用，要求具备全面的、准确的实时三维动画，精准的声效、光影、触感，甚至嗅觉模拟系统。驾驶数据场景库中包含虚拟场景模型、道路交通模型、车辆数据模型3部分，负责对现实世界环境的还原，外加音响效果和运动仿真，操作者可沉浸在真实的虚拟环境中进行操作，体验和学习现实世界中的汽车驾驶基本技能。本文采用Unity3D跨平台三维物理模拟引擎进行VR模拟驾驶教学演示系统设计与开发。设计与开发人员使用该引擎可以创建逼真的VR2D或3D场景，还可以发布实时三维动画等互动内容至PC，Mac，Android，IOS等平台。目前Unity 3D逐渐向工业、科研、文化产业等VR开发方向转型。

2 教学演示系统软件与交互设计

2.1 系统设计概述

基于BCI的VR模拟驾驶教学演示系统由硬件系统和软件系统组成。硬件系统主要由ThinkGear头盔、TGMA控制元件和模拟驾驶外设组成。软件系统包括MindViewer (测试脑电波，显示波形与数据)、Unity 3D (生成VR环境)、NeuroSky UnityTGC (Unity插件，可读取EEG数据并控制突发情况下驾驶程序)。通过使用该系统，可以训练使用者驾驶能力和对突发情况的应变能力，达到对使用者进行心理教学以及纠正的目的，模拟驾驶教学演示系统使用过程如图2所示。

图2 模拟驾驶教学演示系统使用场景

2.2 BCI脑波硬件头盔设计

本文为BCI系统专门设计了脑电波头盔，通过Creo进行脑电波头盔设计，用3D打印设备制作出外壳的各个部分，实体头盔外壳主要的作用是便于佩戴以及固定蓝牙脑电波头带。其包括头盔后盖1，中盖2与前盖7，电池盒盖3与电池盒4，电路板5，传感器6和耳夹8，如图3(a)所示。蓝牙脑电波头带拥有一个ThinkGear脑电波传感器6，位于头盔前额处，可以采集大脑产生的生物电信号，并将其传输到软件设备中。同时左耳夹8处有2个电极，分别为参考电极和接地电极。佩戴时，参考电极紧夹耳朵向脑电波控制器传输指令。通过脑电波传感器采集脑电波信号，通过蓝牙无线技术，将测得的数据反馈到连接的软件设备中，可以遥控软件中的虚拟模型，从而达到训练学习者的认知、注意力等能力的目的。

图3 BCI脑波硬件头盔设计构成

2.3 模拟驾驶虚拟现实系统的设计

本系统VR软件环境设计以Unity 3D为开发平台，利用C#(ODE)语言实现编程。系统开发采用Unity3D引擎载入三维汽车模型，将外部驾驶模拟器设备与三维汽车模型离合器、油门、制动器、方向盘、六档位变换器对应关联起来，形成可操纵的VR系统，如图4所示。在系统输入模块中定义外设踏板输入角度和方向盘角度等连续变量，同时定义六位换挡位枚举变量，在模拟驾驶程序运行时系统通过计算机硬件设备接口函数获取驾驶学员对驾驶设备的操控参数值。

图4 模拟驾驶教学演示系统开发环境

系统中的场景模型主要使用3D Max建模输出，如图5所示。城市道路环境主要包括城市建筑与景观、树木等。为了真实模拟车辆在道路上行驶，在建模时还建立了相应的交通设施，如交通信号灯、交通指示牌、标志等。车辆模型主要包含车辆本身的外观模型和动力学模型。将建模图形以FBX的形式导入Unity3D，中等精度贴纹理图即可满足模拟驾驶真实性体验要求。

图5 模拟驾驶教学演示系统场景模型设计

系统开发采用Unity3D内置的ODE动力学引擎模拟汽车行驶原理并将车辆模型简化为车身、车轮以及车身与车轮连接，使用复合关节Hinge来表示车身和车轮之间的连接关系，系统通过人机交互接口将外部输入信号传给动力学仿真模块，不同的运动部件根据自身物理特性对其扭矩进行赋值，驾驶学员通过方向盘、油门、刹车、离合踏板、换挡手柄来控制车辆运动。窗口通过三维物体与环境动态反馈显示VR事件的进行。

2.4 BCI-VR模拟驾驶系统交互控制运行效果

本文BCI系统与VR软件需要实现数据互通与人机交互以及BCI。VR系统部分采用NeuroSky-TGC插件作为BCI-VR交互功能接口，NeuroSky-TGC是ThinkGear开发公司针对Unity3D设计的EEG脑波插件，可将数字数据作为异步串行字节流进行传输，同时对串行数据流数据包进行提取和解析，最终以波形与数据值形式显示，并且可以通过状态判断对VR系统做出控制，同时，也可以将Unity环境的变化反馈给脑电波采集设备，从而影响驾驶学员脑波EEG变化，系统运行界面效果如图6所示。NeuroSk-TGC配套软件MindViewer显示测得的脑电波波形与数据如图7所示。

图6 基于BCI的虚拟现实模拟驾驶教学演示系统界面

图7 NeuroSky-TGC配套软件显示脑电波波形与数据

模拟驾驶教学演示系统需要实时监测驾驶学员专注程度与驾驶心理状态，因此对脑波进行分类以及提取，有针对性的观测可以反映驾驶状态的EEG脑波信号段是本文的重点研究内容。如前文所述通过NeuroSky UnityTGC插件可以获取佩戴者波、波、波、波、波、PoorSignal、Attention等EEG信号。其中专注度Attention指数值表明用户当前的精神专注程度或注意力集中程度，当佩戴者能够进入高度专注状态并且可以稳定地控制你的心理活动，该指数的值就会很高。该指数值的范围为0~1rate[10]，专注度Attention指数的数值与佩戴者当时的脑部活动专注与否有关，焦躁不安、情绪波动较大等负面精神状态都会扰乱Attention波形并降低其指数。由于Attention指数较为适宜反映受试者驾驶状态，因此本文以专注度Attention为研究对象，正常行驶时，驾驶学员专注度Attention数值稳定且处于较高水平；当有意外事件发生时，其值会剧烈变化，呈现急速降低的趋势，当系统检测到Attention值突变且呈现下降趋势时，系统会判定驾驶学员无法恰当处理意外事件，驾驶存在危险，此时系统会自动进行刹车或辅助驾驶干预，避免交通事故发生，保证驾驶学员心理以及身体健康。

意外情况是驾驶时经常遇到的问题，而传统模拟驾驶训练系统缺少对策，本文另一项重点内容为BCI在VR驾驶教学演示系统中意外情况下的反馈与控制，其工作流程为：使用者戴上脑电波头盔，进行脑电波信号采集及记录；将原始脑电信号进行预处理，并对预处理过后的信号进行特征提取和特征分类，之后将分类的信号进行输出；在系统界面MindViewer子窗口显示Attention指数波形；使用者戴上脑电波头盔的同时，通过操作模拟驾驶方向盘，对模拟环境中的汽车进行运动控制；当有其他车辆紧急闯入时，使用者脑电波Attention指数发生较大的波动，且当其指数低于设定的阈值0时，本系统将自动对汽车进行紧急制动。系统工作流程如图8所示。由此可知阈值0需要由实验测定，且其数值由于人的生理心理固有特性而存在一定个体化差异，通过预测试而检测每个驾驶学员的最优阈值0，对后续学员的教学与训练非常重要。

图8 教学演示系统工作流程

3 系统测试

为了测试系统的有效性并探索个体最优Attention阈值0的取值，本文设计了模拟驾驶典型的意外道路事件，并邀请学员进行测试。测试环境为Windows 10系统，Unity3D结合NeuroSky UnityTGC编译输出可运行程序，学员佩戴本文专门设计的BCI头盔，实验记录人员利用NeuroSky-TGC配套软件显示监控EEG变化并记录，主要观测Attention指数波动与数值。

测试选择4位年龄在20~23岁之间的男学员各进行10次重复性测试。测试任务情景如图9所示，受试者佩戴BCI头盔，操作方向盘、档位与油门控制虚拟驾驶系统中的白色①号车直线前进，时速高于30 km/h低于50 km/h，进入十字路口时，红色②号车急速斜插入路口。驾驶员需要根据情况避开或通过辅助驾驶在不发生碰撞的情况下安全驶离路口，即任务完成。测试任务采用分段评分，第1阶段：挂前进挡，踩油门启动；第2阶段：扶正方向盘驶入十字路口；第3阶段：躲避紧急驶入车辆；第4阶段：驶出任务路段，到达终点。每完成一个阶段任务即获得25%正确率评分。经过交叉验证之后其任务正确率随着重复次数增加的变化曲线图如图10所示，经过10次Reapeat交叉实验训练后，被试者测试任务正确率评分Accuracy接近100%，测试结果表明，本文系统设计已达预期。

图9 测试情景示意图

为保证系统获取脑波的正确性与效率，必须在保证信息传输率的基础上为每个被试者设定Attention最佳阈值0[11]，对所有受试者的每次测试Attention数据进行分析。对4个受试者的正确率Accuracy和注意力指数Attention的关系以及信息传输率Bit(bits/min)进行分析，最终得到图11曲线，可以看出受试者在Attention阈值0设定在60~80之间时信息传输率与任务正确率达到最高，从整体来看，当阈值设定过小时，正确率会较低，而当阈值设定太大时，信息传输率就较低，因此根据图中受试者的状况，分别设定不同的阈值用于自适应算法，4个受试者的最终设定见表1。

由于驾驶学员个体之间存在生理与心理能力固有差异，所以针对每个受试者所选择的Attention阈值需要有所不同。在保证EEG数据有效传输与较高任务完成正确率的基础上，最终受试者P1的阈值取值0.75，P2和P3的阈值取值0.77，受试者P4的阈值取值0.73。后续模拟驾驶任务可以针对不同学员在系统中输入其最佳Attention阈值，有助于系统实时监控驾驶学员的驾驶状态，当Attention指数异常并有出现危险迹象时，模拟驾驶系统积极采取干预措施。

图10 驾驶任务正确率与次数变化曲线图

图11 阈值与正确率、信息传输率关系

表1 受试者最佳EEG专注力指数阈值取值表

4 结束语

通过Unity 3D内置的ODE动力学引擎开发VR驾驶环境，实现了学员直观、实时、逼真的感知体验。在硬件上设计了BCI头盔，通过TGMA芯片内建滤波算法对EEG脑波信号进行特征分类，选取专注力指数为指标监控驾驶学员的驾驶状态。既可以利用BCI技术监测驾驶学员的驾驶心理状态，虚拟驾驶系统又可以向BCI反馈学员驾驶动态，当出现突发性危险事件超出学员处理能力时，系统会进行自动干预解决。通过实验验证了系统的可用性，同时在保证驾驶任务正确性与信息传输率的基础上测定了每个被试者专注力最佳阈值，使用者可以在使用的过程中调整自己的心理状态，提高应变能力，从而达到心理教学以及纠正的目的。

最后实验表明，基于脑电波控制的VR教学系统特有的沉浸感和实时交互性使得受试者在逼真的汽车驾驶教学环境中更容易激发脑电信号，专注力可以达到较高水平，预期可提高受试者的心理调节能力和应变能力，达到对受试者进行心理教学以及纠正的目的。在今后的研究中，将继续完善VR驾驶反馈的逼真度、沉浸度，以及反馈的直观与多样性。同时提高BCI与VR驾驶系统的协同工作效率与可用性。

[1] WOLPAW J R, MCFARLAND D J, VAUGHAN T M. Brain-computer interface research at the Wadsworth center[J]. IEEE Transactions on Rehabilitation Engineering, 2000, 8(2): 222-226.

[2] WEEVERS I, KUIPERS J, ZWIERS J, et al. The virtual driving instructor: a multi-agent based system for driving instruction[EB/OL]. [2020-03-23]. https://www. researchgate.net/publication/316498340_The_Virtual_Driving_Instructor_A_Multi-Agent_Based_System_for_Driving_Instruction.

[3] ZANDER T O, ANDREESSEN L M, ANGELA B, et al. Evaluation of a dry EEG system for application of passive brain-computer interfaces in autonomous driving[J]. Frontiers in Human Neuroscience, 2017, 11: 78.

[4] MELANIE K, EDMUND W, STEPHAN G, et al. Proactive vs. reactive car driving: EEG evidence for different driving strategies of older drivers[EB/OL]. [2020-03-23]. https://www.researchgate.net/publication/ 322621338_Proactive_vs_reactive_car_driving_EEG_evidence_for_different_driving_strategies_of_older_drivers.

[5] 赵启斌. EEG时空特征分析及其在BCI中的应用[D]. 上海: 上海交通大学, 2008.

[6] PAN X, ZHANG Z J, QU J, et al. Enjoy driving from thought in a virtual city[C]//2017 36th Chinese Control Conference (CCC). New York: IEEE Press, 2017: 11034-11040.

[7] 杨帮华, 刘丽, 陆文宇, 等. 基于虚拟现实技术的脑机交互反馈系统设计[J]. 北京生物医学工程, 2011, 30(4): 401-404.

[8] 周鹏. 基于运动想象的脑机接口的研究[D]. 天津: 天津大学, 2007.

[9] 刘海龙, 王珏, 郑崇勋. 基于脑电信号的意识信息提取与表达: 脑-机接口[J]. 中国康复理论与实践, 2005, 11(3): 180-181.

[10] ROGERS J M, JOHNSTONE S J, AMINOV A, et al. Test-retest reliability of a single-channel, wireless EEG system[J]. International Journal of Psychophysiology, 2016, 106: 87-96.

[11] 赵春辉. 基于脑机接口的虚拟人控制研究及应用[D]. 广州: 华南理工大学, 2017.

Design of virtual reality simulated driving teaching system based on BCI

TENG Jian, HUANG Jia-hui, GONG Kai

(College of Mechanical and Electrical Engineering, Lingnan Normal University, Zhanjing Guangdong 524048, China)

In the traditional simulated driving, the training of normal scenes has received too much attention, the monitoring and assistance of the trainees’ psychological state in the accident scenes has been overlooked, and the driving psychological state has obtained no feedback and evaluation. In order to solve these problems, based on brain-computer interaction (BCI) and virtual reality (VR), a virtual reality simulated driving teaching demonstration system was developed. The simulated driving operating system was developed by using three-dimensional dynamics engine. And the wearable electroencephalogram (EEG) signal detection helmet was designed on hardware. The monitoring and data evaluation of the trainees’ brain state during simulated driving was realized based on BCI technology. When a sudden simulated event occurs, the system will automatically brake or assist driving through brain-computer interface technology. After completing the simulated driving training, emergency rescue measures can be given according to EEG feedback in the accident. In addition the students’ performance and psychological quality can be assessed based on EEG. The method proposed in this article provides a richer and more immersive interactive operation mode for the teaching and training with higher cognitive load, such as virtual driving, and improves the practicality and usability of the teaching and training system in this field.

brain-computer interaction; virtual reality; teaching demonstration; driving simulation

TP 391

10.11996/JG.j.2095-302X.2020020217

A

2095-302X(2020)02-0217-07

2019-10-10；

2019-11-17

广东省普通高校青年创新人才类项目(2017WQNCX097)；岭南师范学院校级项目(L1821)

滕 健(1986-)，男，黑龙江牡丹江人，实验师，硕士。主要研究方向为交互设计、虚拟现实、工业设计。 E-mail：tengjian_id@lingnan.edu.cn

黄佳慧(1989-)，女，湖南永州人，硕士。主要研究方向为增强现实。E-mail：huangjiahui@lingnan.edu.cn