侯璐松

（同济大学电子与信息工程学院计算机科学与技术系，上海 201800）

驾驶员警觉度预警系统研究与实现

侯璐松

（同济大学电子与信息工程学院计算机科学与技术系，上海 201800）

道路交通安全领域中，疲劳驾驶导致的交通事故一直是人身财产的巨大威胁，通过视频监控和精神状态预警可以有效解决这个问题。系统利用无监督及有监督的机器学习算法建立多适用场景的信号监控警觉度模型，通过对脑电警觉度预测和视频监测判别的综合策略运用，设计多信号融合的脑机接口警觉度检测系统。系统主要使用MATLAB脚本程序编写实现。

脑电；警觉度；脑机接口；机器学习

0 引言

驾驶疲劳导致的人身财产损失是现代社会文明发展的主要障碍之一。为了解决这个问题，我们需要实时监测驾驶员的警觉度变化，及时发现驾驶疲劳现象并提供安全预警[1-3]。其中，警觉度是衡量人在认知任务中注意力保持水平的标准[4]；对警觉度检测的结果来源于对驾驶员的肢体动作和精神状态的分析。

根据信号的特性，可将检测警觉度的生理指标分为两类：外部动作指标和内部状态信号指标。常用于驾驶警觉分析的外部动作指标包括眼动[5-6]、头部姿态[7]和嘴部形态[8]等。其中，眼睑闭合度是效果最好的，也因此得到了广泛的采用[9-10]；常用的内部状态信号包括血压[11]和脑电（Electroencephalogram，EEG）[12-15]等。其中，脑电信号由于时间分辨率高、可以精确反映大脑状态的变化等特点，相对使用率更高。

在判断驾驶员疲劳度方面，与内部状态信号指标相比，外部动作指标虽然在捕捉危险驾驶行为方面有较好的精确性，但其主要是疲劳度的外部表现（如眼睛闭合时间过长、头部非正常偏移等），作为结果而不能对警觉度的变化及时发出预警；内部状态信号指标能更准确地反映驾驶员精神状态的实时变化，在提前预警方面应用更加有利，但应用广泛的脑电信号存在设备可穿戴性差的问题。因此，综合眼睛闭合时间、头部姿态偏移量和脑电信号的分析结果来设立多种适用场景的实时监测和预警驾驶员警觉度系统成为相对更好的选择。

在EEG数据的分析方面，本文中研究工作主要针对三个频段：δ波、α波和β波。通常认为，δ波是睡眠状态下的主要表现，α波是安静状态时的主要表现，β波是大脑皮层处在紧张状态时的主要脑电活动表现。这三种波的频段分布与表现区域如下所示：

（1）δ波：频率为0-4 Hz，主要出现在睡眠、深度昏迷等情况下，可用于检测驾驶员的疲劳情况。

（2）α波：频率为9-12 Hz，成年人基本的脑电波信号，是正常意识下的主要脑电信号波，广泛分布在大脑皮层各区域。

（3）β波：频率为13-35 Hz，正常健康成年人在注意力集中、情绪高度紧张时该频段的脑部活动会出现明显提升，主要分布额叶、中央区。

1 多信号融合脑机接口警觉度分析系统设计

系统总体框架如图1所示。首先，驾驶员佩戴的采集设备会实时进行EEG数据的采集，然后做数据预处理、特征提取和结果判别；同时，驾驶员头部的视频信息由摄像头进行数据采集，通过图像分析进行头部姿态和闭眼状态检测。将两个数据指标处理结果进行优化组合，最终产生警觉度等级的评判结果，随后系统根据判定的不同等级及时发出对应警报（声、光、电）。

其中，系统界面包括视频信号、特征投影、结果的数理统计信息等直观展示，这些直观的图表数据可以更简洁、准确地表示用户的当前警觉度状态，并被用于系统的优化配置，提升性能。

整个系统使用MATLAB脚本程序编程实现，以便于脑电数据的处理和后续的系统测试。

图1 系统框架图

2 警觉度分析算法

2.1 视频监控信号分析

系统中视频信号主要用于头部姿态和眼睛闭合检测。头部姿态检测首先需要建立一个3D模型，模型模板由多个标准模板组成。随后，通过实时图像与模板的比对，用户实时的头部姿态可以被标记出来。此外，模板会根据采集的用户图像自适应地更新模板库，以适应不断变化的视频背景。最后，系统采用Lucas-Kanade算法计算用户的头部在三个坐标轴（x轴，y轴，z轴）的偏移量，若大于安全阈值，系统将发出预警信号[16]。在实验中，对于眼睛闭合监测，若用户闭眼超过1秒，系统也会给出相应的预警。

2.2 脑电警觉度分析模型

传统的脑电警觉度监测系统一般设置固定状态数的警觉度状态分级，这使得系统的适应性变弱，不利于推广应用。针对这一问题，本系统不仅提供多类型的实时监测数据的展示（包括脑电信号、头模型能量图、警觉度分类数据等），帮助用户从多个角度直观的查看精神状态与驾驶情况；还提供不同的警觉度评测模型选择，包括线性判别分析（Linear Discriminant Analysis，LDA）无监督模型和高斯混合聚类（Gaussian mixture model cluster，GMMcluster）多分类模型。

其中，LDA无监督模型主要针对没有存储数据的新用户，帮助新用户快速使用系统，数据分类结果为三类用于警觉度监控；GMMculster是有监督学习方法，在系统中被用于多分类的应用场景。特别的，针对不同预警策略的用户需要，GMMcluster可以提供用户指定数量的分类类别（清醒和睡眠两种极端情况之间的类别），使得系统可以区分相对应不同数目等级的警觉度，警觉度评价机制更灵活实用。

3 实验结果与分析

为了验证系统的可用性和有效性，两名被试参与到在线模拟驾驶实验，得到的测试数据将被用来验证系统有效性。

两名被试的年龄均在25-30岁之间，为健康成年男性。实验时长约为40分钟（图1和图2的x轴单位标尺为5秒），实验过程中，对于视频的监控和对脑电信号的监控两种模式同时运行，任意一种模式判定出危险驾驶状况，系统都会及时发出预警。数据在离线分析中表明，两位受试均经历了从清醒到瞌睡再到清醒的警觉度变化过程。这与被试在试验后的陈述一致。

图2和图3展示了上述试验中其中一位被试的脑电数据在两种模型下警觉度分类的结果。其中，被试的数据被分为两部分，前70%的数据用于训练，后30%的数据用于测试。

可以发现，图2采用的LDA无监督模型，将数据分为三类：睡眠、疲劳和清醒。图3采用的GMMcluster模型，数据被分为四类：清醒、一级疲劳、二级疲劳、睡眠。从上述两图呈现的趋势来看，根据时间的变化，驾驶员确实表现出从清醒到睡眠再到清醒的变化历程。此外，视频监控图像也支持了这一结论。

图2 LDA无监督模型数据分类结果

图3 GMMcluster模型分类结果

4 系统介绍与展示

在数据采集方面，系统使用高精度生物信号放大器及其相关采集软件。

视频监测方面由微软Visual Studio中的Open CV控件处理由摄像头采集的图像。检测程序将被编译成MATLAB可调用的执行程序，由MATLAB直接调用，并通过TCP/IP协议传建立连接传递数据。

系统实时同步采集脑电信号和视频数据，进行数据的特征提取和模式识别，得到两类监测结果后通过优化后的策略组合评定等级，随后系统发出预警。

如图4所示，系统实时工作时，用户可以将采集后分析到的数据进行直观的图表展示。其中，可实时查看的特征量如下所示：

①选中导联的脑电信号：展示对应的时间序列EEG数据。

②选中导联的频谱能量：展示选中导联上的频谱能量和特征比值，用于比较各频段内用户脑电数据能量的实时变化。

③警觉度状态脑区分布图：对于选中的不同频域，把用户在所选频段内在头模型上的警觉度空间分布情况。

④警觉度的数理统计信息：对警觉度判别结果进行时序统计并做实时展示，反映用户的实时警觉度状态变化。

图4 系统主界面

此外，系统可以进行参数配置，界面如图5所示：

图5 系统参数配置界面

5 结语

本文在单一模式警觉度监控研究基础上，提出了融合脑电信号与视频监测的混合脑机接口警觉度分析方法，并设计了一套可用于实时监控驾驶员警觉度的监测系统。系统综合分析了驾驶过程的脑电信号和视频监控数据，对驾驶员从物理、精神两个方面进行全方位的警觉度监控并提供预警策略。此外，系统不仅可以预测警觉度的状态变化，还提供各类特征的统计分析界面展示，帮助用户及时查看驾驶实时状态。

最后，出于对实际应用的有效性和适应性的考虑，在警觉度的精细化分析、预测情况下警觉度预警的有效性等重要问题上，仍然需要通过更具针对性的真实环境实验来改善和验证此类用于复杂场景的脑机接口系统，这也是我们今后需要重点研究的工作。

[1]Thiffault Pierre,Bergeron Jacques.Monotony Of Road Environment And Driver Fatigue:A Simulator Study[J].Accident Analysis& Prevention,2003,35(3):381-391.

[2]Philip Pierre,Sagaspe Patricia,Moore Nicholas,et al.Fatigue,Sleep Restriction and Driving Performance[J].Accident Analysis& Prevention,2005,37(3):473-478.

[3]SKL LAL,CRAIG A.A Critical Review of the Psychophy Siology of Driver Fatigue[J][J].Biological Psychology,2001,55(3):173-194.

[4]Lin Chin-Teng,Wu Ruei-Cheng,Liang Sheng-Fu,et al.EEG-Based Drowsiness Estimation for Safety Driving Using Independent Component Analysis[J].IEEE Transactions on Circuits and Systems I:Regular Papers,2005,52(12):2726-2738.

[5]Johns M.W.,Tucker A.J.,Chapman R.J.,et al.A New Scale of Drowsiness Based on Multiple Characteristics of Eye and Eyelid Movements:The Johns Drowsiness Scale[J].Sleep Biol Rhythms,2006,4(Suppl 1):A37.

[6]Caffier Philipp P.,Erdmann Udo,Ullsperger Peter.Experimental Evaluation of Eye-Blink Parameters as a Drowsiness Measure[J].European Journal of Applied Physiology,2003,89(3-4):319-325.

[7]Ji Qiang,Yang Xiaojie.Real-Time Eye,Gaze,and Face Pose Tracking for Monitoring Driver Vigilance[J].Real-Time Imaging,2002,8 (5):357-377.

[8]Saradadevi Mandalapu,Bajaj Preeti.Driver Fatigue Detection Using Mouth and Yawning Analysis[J].International Journal of Computer Science and Network Security,2008,8(6):183-188.

[9]Bergasa Luis M.,Nuevo JesUS,Sotelo Miguel A.,et al.Real-Time System for Monitoring Driver Vigilance[J].Intelligent Transportation Systems,IEEE Transactions On,2006,7(1):63-77.

[10]Ji Qiang,Zhu Zhiwei,Lan Peilin.Real-Time Nonintrusive Monitoring and Prediction of Driver Fatigue[J].IEEE Transactions on Vehicular Technology,2004,53(4):1052-1068.

[11]Yang Guosheng,Lin Yingzi,Bhattacharya Prabir.A Driver Fatigue Recognition Model Based on Information Fusion and Dynamic Bayesian Network[J].Information Sciences,2010,180(10):1942-1954.

[12]Simon Michael,Schmidt Eike A.,Kincses Wilhelm E.,et al.EEG Alpha Spindle Measures as Indicators of Driver Fatigue Under Real Traffic Conditions[J].Clinical Neurophysiology,2011,122(6):1168-1178.

[13]Lal Saroj KL,Craig Ashley.Reproducibility of the Spectral Components of the Electroencephalogram During Driver Fatigue[J].International Journal of Psychophysiology,2005,55(2):137-143.

[14]Schmidt Frank Martin,Schönherr Jeremias,Sander Christian,Et Al.Applying EEG-Based Vigilance Measurement In a Case of Adult Attention Deficit Hyperactivity Disorder[J].International Journal of Neuropsychopharmacology,2013,16(5):1169-1171.

[15]Jödicke Johannes,Olbrich Sebastian,Sander Christian,et al.Separation of Low-Voltage EEG-Activity During Mental Activation from That During Transition To Drowsiness[J].Brain Topography,2013,26(4):538-546.

[16]Xu Yi-fei,Zeng Jin-hua,Sun Yao-ru.Head Pose Recovery Using 3D Cross Modelieee,2012:63-66.

Research and Implementation of Drivers'Vigilance Monitoring System

HOU Lu-song

（Department of Computer Science and Technology,School of Electronic and Information Engineering,Tongji University, Shanghai 201800）

Driver fatigue is a great threat in the field of traffic safety.To solve this problem,develops an EEG and Video-based hybrid BCI to monitor drivers'vigilance.In this system,applies two supervised and unsupervised machine learning algorithms to analyze and classify EEG. This system is developed by MATLAB.

EEG;Vigilance;BCI;Machine Learning

1007-1423（2017）01-0034-05

10.3969/j.issn.1007-1423.2017.01.009

侯璐松（1991-），女，山东济宁人，在读硕士，研究方向为软件与信息服务

2016-11-15

2016-12-26