基于D-S证据理论的矿工精神状态融合评估算法

2023-05-17杨木林童蓍庾潘红光

西安科技大学学报 2023年2期

杨木林，童蓍庾，潘红光

（1.国能包头能源有限责任公司，内蒙古包头 014010；2.西安科技大学电气与控制工程学院，陕西西安 710054）

0 引言

在智慧矿山建设中，人的因素起到越来越重要的作用，其角色也发生重要的转变，矿工由体力劳动逐渐变为脑力劳动。受到复杂环境和脑力消耗的双重影响，矿工精神状态极易发生恶化［1-2］。对于矿工而言，较小的差错都将会造成严重的煤矿安全事故。因此，井下矿工的健康状况不容忽视。

在传统方法中，矿工状态主要由经验丰富的医生根据体检报告整合体征信息进行评估［3］。这种方法不仅耗时费力，而且由于主观因素，特别是对于诊断经验不足的医生，误诊和漏诊的几率就会提高［4］。因此，现有研究开始感知矿工体征信息，从而通过建模与信息融合等方式实现矿工状态的快速识别。JIN等利用体温、血压、心率等11个指标组成评价指标体系实现对矿工生理和心理状态的评估［5］。CHEN等通过野外试验测量高海拔寒冷地区矿工的心电图、肌电图、脉搏、血压、反应时间和肺活量等疲劳心理生理参数，通过多特征信息融合实现疲劳的快速识别［6］。但是，选择合适的体征信息成为一个难点。当采集的体征数据类型过多时，容易造成数据冗余，从而增加评估时间；当采集的体征数据类型过少时，评估准确性也会因此降低。

原始脑电信号包括时域、频域和空间域等特征信息，特征类型较少，从而在一定程度上避免特征选择的难题［7］。此外，脑电信号被誉为状态识别的“金标准”，各类特征已经被证实可以对人体情绪和精神状态进行客观、精准识别［8-9］。时域分析集中于脑电信号的波形变化，分析方法包括零点分析、直方图分析和自回归参数模型等。CHINAR等从脑电信号中提取时域特征来检测困意，结果表明，他们所提出的单通道脑电信号瞌睡检测模型具有较好的准确性［10］。频域分析主要集中于具有频率变化的脑电信号的抽象特征。脑电信号能捕捉到大量神经元的振荡活动，例如人体精神状态变化会引起θ和α等节律幅值和功率的变化。通过这些振荡活动可对脑电信号进行有效的频域分析，分析方法有傅立叶变换（fourier transform，FT）和功率谱估计等［11］。王春晨等选用多通道EEG的频域参数作为情绪识别的特征向量，利用机器学习算法在特征参数选择和分类算法设计方面高效可靠的特点，设计一种新型情绪状态识别算法，实现对情绪状态准确有效的识别［12］。空间域分析集中于对高维脑电图数据进行统计分析，具有增强局部活动、减少各通道中的共有噪声、降低数据维度等作用。分析方法主要有典型相关分析（canonical correlation analysis，CCA）、主成分分析（principal component analysis，PCA）、独立成分分析（independent component analysis，ICA）和共同空间模式（common spatial patterns，CSP）等。闫梦梦等提出一种基于脑电情感识别的空域滤波方法，利用改进CSP空域滤波算法在三分类情感脑电信号的识别结果中达到87.54%的平均识别率［13］。但是上述研究中，大多数使用单一域分析脑电信号，导致特征具有局限性，缺乏对人体状态的综合评估。

脑电信号的时域、频域和空间域分析方法从单一特征维度已经实现人体状态识别，若融合3种分析方法的优点实现多种特征数据信息的处理，为评估算法取长补短提供可能［14-15］。因此，文中在提取脑电信号的多域特征并对精神状态进行分类的基础上，采用决策融合方法建立多模态特征空间，提出一种基于D-S证据理论的矿工精神状态融合评估算法，保证煤矿安全生产。首先，采用Teager能量算子（teager energy operator，TEO）和多尺度熵（multiscale entropy，MSE）提取脑电信号的时域特征；利用小波包变换（wavelet packet transform，WPT）提取脑电信号的频域特征；分析脑电信号的相位锁定值（phase locking value，PLV）和相干性，提取空间域特征。其次，通过支持向量机（support vector machine，SVM）、卷积神经网络（convolutional neural network，CNN）和BP神经网络分别对时域、频域和空间域特征进行分类；最后，根据决策级融合规则，采用D-S证据理论融合各类子模型概率输出结果，实现准确、客观地评估矿工精神状态。

1 数据采集及预处理

1.1 数据采集

对照煤矿工人职业要求，选择一名系统性学习过煤矿安全生产过程以及熟知矿工作业流程的在校研究生作为被试者。被试者为男性，年龄24岁，身高175cm，身体健康且无神经系统疾病史，具备成为矿工的客观条件。为了保证数据集的客观性，在试验开始前要求被试者保持充足的睡眠，并且不饮用咖啡、酒等刺激性饮品。

试验通过矿区环境模拟装置和脑电信号采集设备辅助数据采集。矿区环境模拟装置来模拟矿下气味与温度等影响因素，该设备包括系统监测软件和云平台工作站等，可以模拟光线、高温、噪声及气味等气候环境并进行实时检测，如图1所示。EMOTIV EPOC Flex为脑电信号采集设备，采用国际10-20标准电极放置规范对脑电信号进行采集。为了兼顾数据质量和计算速度，试验中脑电信号采样频率设置为128 Hz，记录的信号经过0.1～100 Hz带通滤波器滤波后进行基线校正［16］。

图1 矿区环境模拟装置Fig.1 Mine environment simulation modes

井下环境复杂且与地面环境差异较大，为更好模拟井下环境，地点选择在狭小、幽暗的房间，试验环境及采集画面如图2所示。与此同时，加入关于井下环境的视觉和听觉刺激来加速被试者精神状态的变化。随着高强度运动（学习）以及复杂环境的双重影响，被试者的精神状态发生变化。试验开始前，采集一次无环境刺激的脑电数据作为参考数据。每组试验过程中，视频播放的时间即为脑电信号采集的时间。试验流程如图3所示。为客观评定被试者当前的精神状态，通过E-Prime软件设计一组客观测验和主观问卷来判定被试者的生理状态、疲劳状态和认知反应状态。客观测验内容包括：警觉性、数字瞬时记忆、单词短时记忆、注意力、认知灵活性、放松程度、协调能力等。主观问卷采用视觉模拟评分法（visual analogue scale，VAS）调查被试者当前生理状态和疲劳状态。由于容易理解、最低语言要求、视觉格式、最低管理和完成时间等原因，VAS比报告问卷有许多优势。

图2 试验环境及数据采集示意Fig.2 Test environment and data acquisition

图3 试验流程示意Fig.3 Schematic diagram of test procedure

1.2 数据预处理

1.2.1 原始脑电信号数据。

通过EEGLAB对原始的脑电信号进行预处理［17］。首先，使用FIR带通滤波器对脑电信号进行0.5～50 Hz的滤波以去除脑电设备所引起的伪迹成分（高频段：＞50 Hz）以及被试者呼吸和心跳所引起的伪迹成分（低频段：＜0.5 Hz），从而保留脑电信号中最有效的频段。其次，ICA和PSD用于移除眼电或肌电成分。最后，将处理后的脑电成分进行叠加，得到最终的脑电信号。

1.2.2 相关测验任务的指标数据

首先，归一化算法将测验的反应时间（自评程度）B＝（bij）和准确率A＝（aij）映射到0～1的范围内。min-max规则将指标参数投射到［l1，l2］区间内，归一化的计算过程为

以生理状态为例，无刺激试验各项指标作为参考，见式（3）

式中 Bmean为无刺激时的反应时间（主观问卷自评程度）的平均值；Amean为无刺激时客观测验准确率的平均值；Bj为有刺激时的反应时间（主观问卷自评程度）；Bmax为有刺激时的反应时间（主观问卷自评程度）的最大值；Aj为有刺激时客观测验的准确率；Amin为有刺激时客观测验准确率的最小值；n为客观测验和主观问卷的总数目；k为主观问卷的数目。疲劳状态Sf和认知反应状态Sc的求解与生理状态Sm类似。最后，根据判别式（2）得到当前人体精神状态的标签类型。

2 特征提取

2.1 时域特征提取

时域波形特征包含来自脑电信号的所有时间信息，可以清晰代表关于矿工脑波的振幅和周期，以此用于矿工精神状态的识别。但随着矿工精神状态的下降，可能导致所提取的时域波形特征中成分混杂，因此需要对所采集的脑电信号采用叠加平均的方法来间接提升鉴别信息的比例。TEO在连续和离散域都有定义，从能量的角度分析单分量信号是非常有用的工具［18］。MSE是非线性动力学理论中的一种复杂度分析算法，最早由COSTAD等于2002年提出［19］。MSE可以考虑到信号在多个时间尺度上的动态特性和远程相关性信息，从而全面地度量信号的复杂度，十分适合复杂时间序列信号分析［20］。然而，MSE无法获取和利用脑电信号的波幅变化和瞬时能量变化值。因此，先通过TEO提取预处理后的脑电信号特征，再对信号进行MSE变换，从而获得脑电信号波幅变化的复杂度和瞬时能量的长距离相关性信息。

尺度因子（s）按顺序进行移动后对所有移动窗口进行信号重叠，计算得出新的TEO信号序列，此过程即为TEO信号尺度变换。为了提高信号重建的效率和重构信号特征鉴别效果，文中采用基于均值漂移聚类算法求解重构信号的聚类中心距离，自适应尺度因子求解算法来得到合适的尺度因子［21］。按照不同尺度因子对TEO信号进行重建后，提取信号的熵特征信息，主要包括近似熵、样本熵、排列熵、模糊熵、小波熵。

2.2 频域特征提取

脑电信号在频域空间有大量的精神状态鉴别特征，通过计算不同频段能量变化，进而较为直观地分析θ波段、α波段、β波段、δ波段和γ波段的能量状态。为了获取在相同频率区间内矿工脑电信号中5个频段的能量分布，采用小波包变换对脑电信号进行分解。

小波包变换通过一组彼此正交的小波基函数将脑电信号投射到另一空间中，可以为特征提取创建较为细致的分析基础，从而提高矿工精神状态脑电信号的时频分辨率［22］。选取各频段的小波包系数的平均能量作为脑电特征，脑电信号的能量为信号空间范式的平方。具体计算公式为

式中 k为第l分解层中第k个频带；l为分解层序列；di（l，k）为第l层分解层中第k个频带的小波系数；i为该节点的小波系数的序列；I为该节点的小波系数的数量；G（l，k）为第l层分解层中第k频带的平均能量。

2.3 空间域特征提取

大脑的每个部分在人类行为中都具有其独特的功能，即使最为简单的任务也是需要很多大脑区域共同协助才能完成。空间域的角度对矿工的脑电信号进行分析，可以得到矿工脑区之间的信息交互（即连通性）情况。目前，衡量头皮脑电信号活动的连通性的技术有很多。总的来说，脑电连通性指标可以分为4类：基于相干的指标、基于相位同步的指标、基于广义同步的指标以及基于格兰杰因的指标。文中使用PLV和相干性2种脑连通指标来分析脑电信号的空间域特征。相干性和PLV代表两通道间信号的相互连接关系，数值型特征不能较好地体现脑部空间特征信息。因此，对连接性特征数据进行脑连接图像可视化。将事件中每一通道与其他所有通道的相干性和相位同步性各画一个脑连接图，所以每一事件的相干性和相位同步性各有32个脑连接图，总共64个脑连接图。

脑电信号在特定时间段和频段内具有稳定性的PLV和相干性［23］。PLV可以反映两通道间矿工脑电信号的同步性，该值越接近于1，则表示2组脑电信号之间的同步性越强。相干性可以评估量矿工脑电信号两通道间的连接性。该值越接近0表示两通道脑电信号之间连接性越弱，该值越接近1表示两电极通道脑电信号连接性越强［24］。设fi（t）和fj（t）为2个不同通道的矿工脑电信号，PLV值由式（5）表示，相干性见式（6）

式中 θ（t）为在t时刻脑电信号fi（t）和fj（t）的相位差；N为样本总数。Pfifi（Γ），Pfjfj（Γ）分别为两通道脑电信号的自功率谱密度；Pfifj（Γ）为两通道脑电信号的互功率谱密度；Cfifj（Γ）为在频率Γ处两电极通道信号的相干系数。

3 特征分类

3.1 时域特征分类

SVM是机器学习中的一种监督学习方法，在解决小样本、非线性和高维模式识别等问题中具有突出优势［20］。通过SVM分类后的时域特征评估结果见表1。试验共采集到3040组脑电信号数据，通过TEO提取特征后每个事件的数据维度为998行、32列。计算5种MSE后，每组数据的数据维度为5行、32列。每组事件组合特征数据的维度为160列，数据维度较大。因此，采用PCA对脑电信号的特征进行再次降维，数据维度为：3 040行、11列。5种 MSE 的分类精度分别为：38.50%，41.67%，39.33%，48.17% 和43.83%，在特征进行组合和PCA处理后，分类准确率为67.50%。

表1 时域特征维度及评估结果Table 1 Time domain feature dimension and evaluation results

3.2 频域特征分类

具有图像特征提取能力的CNN模型可对经过能量谱地形图表征后的频域特征进行较好地分类识别［25］。小波包变换后获得的五频段能量谱的特征数据维度为：3 040行，160列。每个事件共5个脑地形图，分别对应脑电信号的5个频段。每个事件的各个频段都包括32个通道的能量谱。CNN模型结构为：5个池化层，13个卷积层，3个全连接层；模型参数为：学习率为：0.000 1，最大训练轮数为：300，批处理为：128。将每个事件的5个脑地形图作为CNN的一组输入数据，得出CNN模型识别精度见表2，评估准确率为80.67%，距离准确评估矿工精神状态还具有较大的差距。

表2 频域特征维度及评估结果Table 2 Frequency domain feature dimension and evaluation results

3.3 空间域特征分类

BP网络已经被证明具备较强的学习、归纳和特征信息处理的能力，可以对非线性的脑电数据实现训练和识别。因此，文中使用BP网络对空间域特征进行分类识别，表3为BP网络分类结果，分类准确率为71.17%。经过分析矿工脑电信号的PLV和相干性后，数据维度降为496。绘制32个通道的脑连接图实现特征可视化后，数据维度从496降为32，减少分类时间，分类准确率为71.17%。

表3 空间域特征维度及评估结果Table 3 Spatial domain feature dimension and evaluation results

4 决策融合评估算法及分析

4.1 信息融合依据

近年来，信息融合成为一项重要的研究课题，将不同融合方法应用于基于脑电信号的人体状态识别中，是脑机接口技术研究的一个方向。将基于时域、频域和空间域特征的3个分类模型作为子模型并融合有望多角度、全方面综合分析矿工精神状态。因此，文中提出通过融合算法将SVM子模型、CNN子模型和BP网络子模型进行有效融合，融合基于以下考虑。

1）分析矿工脑电信号的时域特征、频域特征和空间域特征的相关方法所得出的分类准确率过低（时域特征：67.50%；频域特征：80.67%；空间域特征：71.17%），不能达到矿工精神状态评估体系的建设要求。

2）在个体差异的情况下，依据个体模态（时域、频域和空间域特征）分类的结果具有不确定性。

如上所述，由于时域、频域和空间域特征分类精度较低以及分类结果存在不确定性影响因素，需要采用信息融合的技术手段，将代表时域、频域和空间域特征的概率输出结果在时间和空间上进行综合关联，取长补短，以实现对矿工精神状态更优化、准确地评估，保证煤矿安全生产。

4.2 D-S证据理论的引入及实施

目前的融合算法多种多样，D-S证据理论作为其中经典的融合算法，由DEMPSTER和SHAFER提出［26］。D-S证据理论具有较高的评估效率，在解决不确定性的信息融合方面具有较大的优势。现有研究证明，将D-S证据理论融合算法应用于深度学习的分类模型里有利于提高分类的准确性［27］。结合文中研究现状，采用D-S证据理论融合算法更能满足研究要求。

基于D-S证据理论的融合评估算法是在决策级进行的。决策融合方法可以充分利用矿工脑电信号的多元信息，做出全局的最优决策，弥补单个模态评估结果的不足，从而提高矿工精神态的评估准确率，保证结果的准确性。算法总体框架如图4所示，主要包括子模型与融合模型2大模块。子模型部分由时域、频域和空间域特征提取与分类组成；为了保证多域特征得到充分利用，决策融合部分通过D-S证据理论等权重将3个子模型的评估结果进行融合。具体地，先将SVM子模型与CNN子模型的概率输出结果进行融合，再将子融合结果与BP网络子模型进行融合，从而得出最终的评估结果。

图4 算法融合结构Fig.4 Algorithm fusion structure diagram

根据D-S证据理论融合规则，融合识别算法的主要分析步骤如下。

第1步：将矿工的状态分为4个等级并构建集合组成识别框架Θ＝｛极差，差，良好，优秀｝。

第2步：将SVM子模型、CNN子模型和BP网络子模型的分类结果用作为D-S证据理论的概率分配函数，分别获得4类状态的基本概率赋值：mSVM（i）、mCNN（j）、mBP（w）。

第3步：融合SVM子模型和CNN子模型概率输出结果。

式中 i，j，A∈Θ；Υ为碰撞因子：Υ ＝0表示概率分布函数不冲突；Υ ＝1表示概率函数分布函数完全冲突。Υ的表示如下

第4步：得到4种状态对应的m（A），即子融合结果。将子融合结果与BP网络子模型的概率输出结果进行融合。

式中 B，w∈Θ；Υ′的表示如下。

第5步：找出代表4种状态概率输出结果的m（B）最大值，最大值为最终的评估结果。

4.3 融合结果分析

表4展示所有子模型以及融合评估算法的分类准确率。文中将评估准确率作为评价矿工精神状态评估方法效果的依据，准确率越高代表该方法评估矿工精神状态效果好，准确率越低表示该方法评估效果差，从而不能为煤矿企业提供准确的矿工精神状态评估依据。

表4 子模型与融合模型融合精度Table 4 Evaluation accuracy of sub-model and fusion model

在时域分析方法中，SVM子模型的评估准确率较低，原因是受试者在脑电信号采集过程中容易受到环境等因素的干扰，导致时域波形特征包含了大量伪迹，从而影响最终的评估结果。在频域分析方法中，CNN子模型具有较高的评估准确率的原因是WPT提取的频域特征通过能量谱脑地形图表征化后，能量谱信息的变化与脑空间信息相互结合，很大程度上降低了输入特征的维度，同时主观地保留了脑电信号部分特征信息，从而提高了评估准确率，实现通过频域特征评估矿工精神状态。在空间域分析方法中，相比于SVM子模型的评估结果，BP网络子模型具有较好的评估准确率；但相比于CNN子模型的评估结果，其并不具备优势。

通过决策融合后，矿工精神状态评估准确率为90.50%，比识别效果最好的CNN子模型的准确率提高9.83%，比SVM子模型和BP网络子模型分别提高23.00%和19.33%。矿工精神状态评估结果有很大程度的提升，主要原因在于决策融合评估算法考虑脑电信号多维特征之间的关系进而系统性地对矿工精神状态进行评估，从而提高矿工精神状态的评估准确率。