周思丹

（西北民族大学 数学与计算机科学学院，甘肃 兰州 730030）

0 引 言

在电子商务的驱动下，我国运输业高速发展，其中公路运输需要货车司机长时间高度集中。长时间的驾驶极易使驾驶员产生疲劳，尤其货运司机为提前到达目的地，选择在车辆稀疏的夜间行驶，但凌晨2～6时是驾驶员最容易出现疲劳的时间，夜间行车极易酿成车祸。据公安部交通管理局的数据统计，疲劳驾驶在高速公路事故起因中占比大约11%。疲劳驾驶是危险的驾驶行为，但人们对疲劳驾驶交通事故的防范意识不强，且疲劳驾驶具有隐蔽性，交通部门对疲劳驾驶的违法行为难以取证，因此针对实时检测疲劳驾驶和预警的研究非常重要。

现阶段针对疲劳驾驶的检测方法主要有三类：第一类是基于接触式传感器检测驾驶员的脑电，心率等生物信号来判断驾驶员疲劳状态的检测方法；第二类是基于车辆运行状态的行驶轨迹、行驶速度、角速度等出现不规则变化进行判断驾驶员疲劳状态的检测方法；第三类是基于机器视觉提取人脸眼部和嘴部特征在疲劳状态中的变化进行判断疲劳状态的检测方法。

随着智能手表广泛应用于日常活动生理指标的检测和运动状态监测，本文设计了通过智能手表获取驾驶员的心率数据，同时使用摄像头进行人脸识别后提取驾驶员眼部特征，以此来检测驾驶员的疲劳状态。

1 系统总体设计

本系统由控制模块、语音模块、摄像头模块和心率检测模块等组成，其中以树莓派4B（Raspberry Pi 4B）为核心控制，通过智能手表提取驾驶员心率信号后使用蓝牙通信将数据传输若检测出驾驶员处于疲劳状态时由语音模块进行语音提示驾驶员注意驾驶安全。其系统整体结构如图1所示。

图1 系统整体结构

2 系统硬件设计

本系统是基于深度学习的SVM分类算法实现疲劳判定的，为此选择以4 GB内存的树莓派4B用于AI视觉深度学习。树莓派4B是一款基于ARM的微型电脑主板，具备1.4 GHz运行的64位四核处理器，内存高达4 GB RAM，2.4/5.0 GHz双频无线LAN，蓝牙5.0/BLE，千兆以太网。其树莓派4B如图2所示。

图2 树莓派4B

摄像头模块选用树莓派摄像头模块（NoIRCamrea V2）进行采集人脸图像，并通过红外摄像头提高在夜间昏暗行车环境中人脸特征提取的准确率。

语音模块通过树莓派扬声器与XFS5152CE语音合成模块连接，实现从文本到语音的疲劳驾驶语音提示。

心率检测模块选择使用Fitbit Inspire HR智能手表，其检测心率原理是通过两个绿色LED光源对皮下血管的血液流量进行心率跳动的检测。Fitbit Inspire HR具有心率监测精确和电池续航长等优点。驾驶员通过佩戴智能手环以检测心率数据，并通过蓝牙通信向控制模块传输心率数据，实现心率数据的采集。

3 算法实现

3.1 算法实现流程

本系统利用智能手表获取驾驶员心率数据，并以心率变异性（Heart Rate Variability, HRV）特征提取算法、心率哈欠匹配算法（Heart rate yawn matching algorithm, HYM）和PERCLOS方法来通过支持向量机（SVM）对驾驶员的生理特征和眼部特征进行驾驶员疲劳状态判定。其算法实现流程如图3所示。

图3 算法实现流程

3.2 疲劳监测

3.2.1 人脸识别

人脸识别通过摄像头获取当前驾驶视频，利用Open CV读写视频流进行图像分析处理，然后利用Dlib库的人脸位置检测器将人脸模糊为矩形框，再使用Dlib库的人脸预测器、特征提取器进行68特征点的提取，实现人脸识别。其面部68特征如图4所示。

图4 面部68特征

3.2.2 眼动信号

PERCLOS（Percentage of eyelid closure over the pupil over time, PERCLOS）是指眼睛闭合时间占某一特定时间的百分率。PERCLOS通常有P70、P80和EM三种判定标准：P70表示瞳孔被眼睑纵向遮住70%的时间比率；P80表示瞳孔被眼睑纵向遮住80%的时间比率；EM表示眼睑平均闭合率。相关研究表明P80与疲劳程度间具有最好的相关性，为此本系统采用P80作为眼部的疲劳的判定标准。将获取的面部68特征转换成数组，从数组中提取左右眼的特征点，左眼分别是36到41，右眼分别是42到47。以左眼为例，设P1～P6分别对应左眼的36到41的特征点。其左眼特征点如图5所示。

图5 左眼特征点

当人眼闭合时，人眼特征点P2到P6，P3到P5的垂直距离会减小，且人眼 P1到P4的水平距离会发生变化。根据此现象分别计算P2到P6，P3到P5垂直距离差的绝对值，再把这两个绝对值相加后与P1到P4水平距离差的绝对值取比值，这个比值就称为眼睛纵横比EAR。其眼睛纵横比EAR公式为：

当人处于正常睁眼状态，EAR值在0.24波动，而闭眼过程中，EAR值会迅速下降，睁眼时又迅速恢复至0.24左右。理论上，当人眼完全闭合时，EAR值会下降至0，但特征提取会存在一定的误差，因此设置EAR值低于某一阈值时，则判定人眼处于闭合状态。分别提取左右眼的特征点，计算眼部特征EAR值，并取左右眼的EAR的平均值作为最终的EAR值。根据P80疲劳指标计算每一帧瞳孔被眼睑纵向遮住80%的时间比率，判断驾驶员的疲劳状态。P80疲劳指标计算公式为：

3.2.3 心电信号

生理信号与人体疲劳水平有高度相关性，生理信号是疲劳驾驶监测系统的一个重要指标。心率变异性是指逐次心跳间期（RRI）之间的微小变化，是除脑电信号外与疲劳有显著相关的生物学指标。本系统利用智能手表嵌入的心率传感器进行人体心率数据的采集，但采集的心率数据无法直接表征疲劳的HRV特征。为此需要先计算相邻跳间的平均时间间隔（平均RRI），再利用平均RRI近似瞬时RRI来提取HRV的时域特征和频域特征。其算法流程如图6所示。

图6 心率变异性特征提取算法流程

打哈欠是面部表情中除眼睛特征外常用于疲劳检测的另一个重要特征，但大部分的哈欠检测方法是利用机器视觉检测驾驶员嘴巴的张开和闭合状态进行判断的，此方法容易因驾驶员讲话或惊吓等意外情况出现误判。根据相关医学研究发现，打哈欠与心率存在独特的心率变化波形现象，为此可根据心率哈欠匹配算法（HYM）可检测驾驶员打哈欠行为。

根据哈欠对心率的独特影响，首先获取驾驶员心率数据后，采用最小二乘法对离散数据进行拟合，计算心率转换概率，并使用欧式距离匹配算法计算心率段间相似性。其心率哈欠匹配算法流程如图7所示。

图7 心率哈欠匹配算法流程

3.3 SVM分类算法

本系统的疲劳监测算法采用支持向量机SVM对三个特征的数据集训练进行分类，其中（S，L）表示训练样本，S=<，，>分别表示眼部特征、哈欠特征和心率变异性特征，表示表示L疲劳程度，其中为清醒，为轻度疲劳，为重度疲劳。线性支持向量的超平面计算公式为：

其中表示L表示样本点的S的分类，（）表示支持向量机，是a是拉格朗日乘子。

4 结 论

本系统通过智能手表采集驾驶员心率信号后使用蓝牙通信将数据传输给树莓派控制系统进行基于心率计算驾驶员打哈欠的概率，并对心率变异性进行分析，获取心率变异性特征和哈欠特征，与此同时使用内嵌了红外设传感器的摄像头采集驾驶员驾驶视频，通过Open CV进行图像处理后利用Dlib库进行驾驶员眼部疲劳的检测，最后采用SVM分类算法对三个特征进行疲劳等级的判定，由语音模块对驾驶员采取相应的语音提示，实现驾驶员疲劳驾驶的监测。目前存在的不足是智能手表的功耗问题，因为在驾驶过程中智能手表的心率传感器需要全程监测心率信息从而导致智能手表耗电相对较高，这是本系统有待解决的问题。