李 昕 齐晓英 田彦秀 孙小棋 范梦頔 蔡二娟

(*燕山大学电气工程学院生物医学工程研究所 秦皇岛 066004)(**河北省测试计量技术及仪器重点实验室 秦皇岛 066004)(***北京工业大学 生命科学与生物工程学院 北京 100124)



基于排列熵与多重分形指数结合的特征提取算法在情感识别中的应用①

李 昕②******齐晓英***田彦秀***孙小棋***范梦頔***蔡二娟***

(*燕山大学电气工程学院生物医学工程研究所 秦皇岛 066004)
(**河北省测试计量技术及仪器重点实验室 秦皇岛 066004)
(***北京工业大学 生命科学与生物工程学院 北京 100124)

通过对脑电信号的熵分析，进行了情感识别研究，并根据脑电信号的非线性特性以及多重分形特性的特点，提出了一种排列熵与多重分形指数相结合的情感脑电特征提取算法。该算法采用排列熵、Hurst指数、质量指数和奇异谱宽度相结合，实现情感脑电的特征提取，采用支持向量机(SVM))实现情感识别。结果显示，该算法两两情感识别，测试集最高正确率达到92.8%，除去激动对可怕外，正确率均在80%以上；与单独使用排列熵和分形指数特征的方法相比，最高正确率分别提高41.9%和31.2%。进一步分析了对积极和消极两类情感状态的识别效果，测试集平均正确率为78.3%，比排列熵与多重分形特征，测试集正确率分别提高了26.7%和1.6%。结果表明，基于排列熵与多重分形指数相结合的特征提取算法，能够充分挖掘脑电信号的非线性特性与多重分形特征信息，是一种有效的情感脑电特征提取算法。

脑电(EEG)信号，排列熵(PE)，多重分形指数，支持向量机(SVM)

0 引 言

1997年，麻省理工学院的Picard教授在她的专著《Affective Computing》中首次提出了“情感计算”这一概念，指出：“情感计算是与情感相关，来源于情感或能够对情感施加影响的计算”[1]，而情感识别是实现情感计算的基础和核心内容。脑电信号能够充分反映人的生理与心理变化，同时脑电采集具有无创、便捷、低成本和高时间分辨率等特点，因此，基于脑电信号实现情感识别具有一定的研究意义与应用价值。

为了更好地实现基于脑电信号的情感识别，情感脑电特征提取至关重要，基于熵与非线性动力学特征实现脑电特征提取，取得了一定进展。Murugappan等研究不同小波变换函数、脑电频段以及电极个数对情感识别的影响，基于熵特征进行情感识别，正确率达到83.04%[2]。Hosseini等采集了FP1、FP2、T3、T4和Pz等电极的脑电信号，提取脑电信号的近似熵作为特征，利用支持向量机(support vector machine, SVM)算法进行情感识别，正确率为73.25%[3]。吕宝粮等使用共同空间模式提取脑电中γ波事件相关/事件去相关特征作为特征，区分高兴和悲伤两种情感，基于支持向量机进行识别，识别率达到93.5%[4]。

排列熵是Bandt提出的一种基于复杂性测度的非线性参数算法，用于计算一维时间序列的复杂性，与李雅普若夫指数相似，但运算步骤和运算时间都相对较少，运算效率较高。排列熵算法适用于任何时间序列，例如规律的、混沌或含有噪声的时间序列[5]。李谷等基于排列熵对睡眠脑电进行分析，利用支持向量机进行睡眠期识别，平均正确率达79.6%[6]。Edordo等人利用头皮脑电排列熵作为预测癫痫的工具，计算每一个通道的排列熵，并按照排列熵大小分为高、中、低随机性。研究发现失神癫痫病患者前脑区域出现高随机性，在后脑区域出现低随机性，与正常人相反，说明失神癫痫患者发生了多灶性脑改变[7]。Xiaoli L等用排列熵预测遗传性缺失癫痫疾病，结果发现排列熵可以跟踪脑电的动态变化，相对于样本熵能够较好地预测癫痫疾病[8]。

多重分形去趋势波动分析算法由Kantelhardt[9]等提出，是由多个标度指数组成，可以描述不同层次的分形特征，即长程相关性和标度不变性。张翔等研究了癫痫发作期脑电的多重分形特征，同时与癫痫脑电熵特征进行了比较，结果显示，基于多重分形的癫痫检测性能相对稳定[10]。葛家怡等研究了睡眠脑电的多重分形特性，提取了广义Hurst指数，发现不同睡眠时期的Hurst指数不同，并且随着时间尺度的增加而增大，变化趋势一致，清醒状态下脑电Hurst指数最大[11]。Akash等将多重分形去趋势波动方法应用到音乐刺激脑电中研究了脑电节律变化。他们采集了前额脑电，利用经验模态分解和小波变化得到脑电节律，基于多重分形去趋势波动方法研究了节律复杂度的变化，发现音乐刺激时β和α节律的奇异谱宽度增加[12]。利用多重分形指数实现脑电情感识别的研究正逐渐引起领域学者的重视。

脑电信号具有长程相关性，同时也具有短程去相关性，所以单一参数对脑电的描述都不充分。本文针对脑电信号的非线性与混沌分形的特性，提出了一种排列熵与多重分形去趋势波动分析方法相结合的情感脑电特征提取算法。该研究采用DEAP国际标准数据库，基于支持向量机分类实现了该算法的情感脑电识别，将其性能与其他算法的性能进行了对比。

1 排列熵与多重分形去趋势波动分析

1.1 排列熵

排列熵基本原理是相邻数据之间的比较，适用于分析非线性信息，具有很好的鲁棒性，而且能够很好地抑制噪声。

根据嵌入定理，设任一时间序列X={x(1),x(2),…,x(n)}，按照Takens定理对这一时间序列进行重构，如下式

j=1,2,…,K, K=n-(m-1)τ (1)

所示。矩阵中的每一行作为一个分量，按照升序重新排列，如式

x(j+(q1-1)τ)≤x(j+(q2-1)τ)≤… ≤x(j+(qm-1)τ)

(2)

所示，其中m为嵌入维数，τ为延迟时间。q1,q2,…,qm分别为各个元素所在列的索引。如果存在相等的情况，则按照索引qm大小进行排序，例如qi

(3)

当序列为周期性序列时，排列熵最小为零，当序列为噪声序列时，排列熵达到最大，最大值为ln(m!)，

通常利用ln(m!)对HP(m)进行归一化处理，如下式所示：

0≤HP=Hp(m)/ln(m!)≤1

(4)

归一化排列熵反映了时间序列的随机程度，排列熵越小，时间序列越规则，相反时间序列接近于随机时间序列，反映了时间序列中的细微变化。

1.2 多重分形去趋势波动分析

脑电的长程相关性和幂指数规律特性，表明脑电具有标度不变性，即分形特性，同时脑电也具有类似噪声的短程去相关性。多重分形从不同维数描述脑电信号，更适合于脑电的分析。它是由多个标度指数组成，表示的是奇异测度，即用奇异谱函数描述不同层次的分形特征。

多重分形去趋势波动分析方法是一种新的多重分形分析法，即可以描述长程相关性和标度不变性，也可以判断时间序列是否具有多重分形特性。

若时间序列不是随机游走序列，则将时间序列转化为随机游走序列，如下式所示：

(5)

将随机游走序列{Y(i)}分成m个长度为s的不重叠区间，对每一个区间v(v=1,2,…,m)内的点进行最小二乘法拟合得到n阶拟合多项式yv(i)，如下式(6)所示：

yv(i)=…a1ik+a2ik+…+aki+ak+1，

i=1,2,…,s； k=1,2,…,n (6)

由下式(7)计算局部趋势函数并计算方差：

(7)

对所有区间上的方差取均值，得到q阶波动函数，如下式(8)所示：

(8)

针对每一个q值，Fq(s)和s的关系可以表示为

Fq(s)～sh(q)

(9)

公式(9)两边分别取对数，log(Fq(s))和logs为线性函数，线性函数的斜率H(q)即为Hurst指数，Hurst指数与q一般成非线性，如果为线性函数，则时间序列为单分形。

通过Hurst指数计算质量指数τ(q)，如式(10)所示：

τ(q)=qH(q)-1

(10)

质量指数计算奇异指数α和奇异维数f(α)，如下式(11)表示：

f(α)=q·α(q)-τ(q)

(11)

奇异指数反映了区间奇异程度，与奇异性成反比。奇异维数反映了分形结构上的不均匀性，代表奇异指数的维数。Δα=αmax-αmin表示分形谱的宽度，奇异谱宽度代表最大概率和最小概率之间的差别，Δα越大，时间序列分布越不均匀，多重分形越明显。所以多重分形去趋势波动指数包括Hurst指数、质量指数、奇异指数、奇异维数和奇异谱宽度。

2 基于排列熵与多重分形去趋势波动分析结合的情感脑电特征提取

2.1 数据选择

采用Koelstra等提出的分析人类情感状态的多通道数据库DEAP[13]，该实验数据记录了32位健康受试者观看40个时长为一分钟的不同音乐视频时的脑电信号和外周生理信号。受试者的平均年龄26.9岁，男女各半。数据集已经过预处理，除去眼电等噪声信号，采样频率为128Hz，采用4.0～45Hz滤波，可以直接进行分析。根据文献[14]得知，激动、可怕、高兴情感在C4通道脑电特征较明显，抑郁、柔和、难过情感在F3通道较明显，本文只针对这6种情感脑电信号进行分析。

数据长度的选择对分析结果具有一定的影响，本文中采用的数据库每一组共包含8064个数据点，前三秒属于基线数据，不用于分析，所以用于分析的数据点变为7680个，本文分别对1000、3000和5000个数据点进行比较分析，选出较为合适的数据长度。

以高兴和难过两类情感为例，分别计算了3种数据点两种算法的运算时间和识别正确率，如表1所示。

通过表1对比，1000个数据点排列熵运算时间最短，正确率较低，3000个数据点和5000个数据点正确率虽然较高但是运算时间较长，而且正确率相对于1000个数据点仅仅提高了0.4%，所以排列熵算法选择1000个数据点。对于多重分形算法，1000个数据点不管是运算时间还是正确率都显示出优势。所以本文算法选择1000个数据点进行分析。

表1 情感数据选择

2.2 基于排列熵情感脑电特征提取

本文选取32个被试者的情感数据1000个，嵌入维数m取值为5，延迟时间τ为1，即每一维连续取5个数据点，所以重构时间序列的符号序列共有120种。六种情感脑电排列熵如图1所示，六种情感依次为激动、可怕、高兴、忧郁、柔和与难过，每一种情感包含32个排列熵，即图中前32个点代表激动，33～64个点代表可怕，依次类推。前四种情感波动较为明显，排列熵的浮动较大，说明六种情感具有差异性。

图1 情感排列熵

为了进一步分析六种情感排列熵的差异，对六种情感的32组数据求取均值，如图2所示。忧郁情感脑电排列熵较大，难过情感脑电排列熵较小，激动、柔和和难过三种情感排列熵明显低于其他三种。六种情感的排列熵差别并不显著，差值只有千分之一。

基于支持向量机分类器实现两两情感识别，正确率如表2所示，表明：排列熵特征情感识别正确率仅为50%左右，并不能充分挖掘情感脑电信号的特征本质。

图2 情感排列熵均值

2.3 多重分形去趋势波动分析

基于多重分形去趋势波动方法提取的情感脑电特征参数主要包括Hurst指数、质量指数、奇异指数和奇异谱宽度等。Hurst指数主要判断时间序列是否具有混沌性，Hurst指数不同，数据相关性也不同，Hurst指数接近1时说明时间序列相关性最强。 质量指数与阶数之间若为曲线，证明情感脑电具有多重分形特性，若为线性，则为单分形特性。奇异指数用来描述各个区间不同的奇异程度，与奇异性成反比，奇异谱宽度指在一定阶数范围内奇异指数的范围。本文中取阶数范围为[-5 5]，在这个范围内Hurst指数大部分在[0.5 1]之间。

基于多重分形指数分析六种情感，如图3为六种情感的多重分形奇异谱图。六种情感多重分形谱图都为单峰拱形，说明情感数据具有分形特性。

图3 情感多重分形谱

同样计算六种情感的奇异谱宽度均值，进行对比，如图4所示。由图可知，六种情感的奇异谱宽度虽然有差异，但较小，所以基于单个多重分形指数进行情感识别效果可能会不理想。

图4 情感奇异谱宽度均值

基于奇异谱宽度实现情感脑电特征提取，通过支持向量机进行情感识别，结果如表2所示。结果显示，基于多重分形奇异谱宽度进行情感识别测试正确率高于排列熵的正确率，均达到50%以上，其中激动对难过正确率提高了13.6%，但是基于奇异谱宽度的识别效果也并不理想，最高达到64.5%，最低为52.8%，并不能对六种情感进行一对一识别。

综合脑电信号的Hurst指数、质量指数、奇异谱宽度三个多重分形参数特征实现情感识别，识别率如表2所示。

表2 情感脑电识别正确率对比

由表2得出多个多重分形指数的识别正确率明显高于单一指数的识别正确率，最高提高了19.0%，测试集正确率都在60%以上，最高达到76.0%，说明基于多个多重分形进行情感识别效果较好。为了进一步提高识别正确率，本文将熵与多重分形指数结合进行了6种不同情感的识别。

2.4 基于排列熵与多重分形相结合的情感脑电提取算法

基于以上分析，提出了一种基于排列熵与多重分形相结合的情感脑电提取算法。算法流程如图5所示。

算法充分考虑脑电信号的非线性特点以及多重分形特征，结合排列熵、Hurst指数、质量指数和奇异谱宽度，实现情感脑电特征提取。采用支持向量分类(C-SVC)模型以及径向基函数(RBF)，通过遗传算法(GA)寻求最优惩罚系数C和核参数σ，首先选择实值编码策略，设置种群大小取20代，最大进化代数设定为100，交叉和变异概率分别设为0.4和0.01。为了防止排列熵与多重分形指数产生过拟合，本文采用主成分分析对特征进行特征融合。

图5 排列熵与多重分形情感特征提取算法流程图

选取32组情感脑电数据点，循环分类10次，取测试识别正确率平均值进行结果分析，结果如表2所示。

排列熵与多重分形指数相结合实现情感状态识别，测试集正确率在80%以上，可怕对高兴达到92.8%。相对于单独使用熵或分形指数正确率明显提高，只有激动对可怕正确率有所降低，可能原因是这两种情感在某种情况下相似。

将激动和高兴作为积极情感，抑郁和难过作为消极情感，基于本文算法对两种不同反应的情感状态进行识别，结果见表3。

表3表明本文算法提高了情感识别的正确率，对积极和消极情感状态的识别了测试集正确率达到78.3%，相对于其他三种方法分别提高了27.7%、19.9%和1.6%，说明用本文算法进行情感识别是可行的。

本文算法对可怕与高兴两种情感状态识别的正确率较高，激动对可怕识别率较低，分析原因是这两种情感较为接近，例如感到高兴时，情绪有可能是激动状态，其余任何两种情感识别正确率都达到了80%以上，其中激动对难过、可怕对高兴、可怕对抑郁、高兴对柔和与抑郁对柔和识别率都达到90%以上，说明排列熵与多重分形标度指数结合可以很好地识别两种不同情感。同时本文算法对积极和消极情感进行识别，识别率达到70%以上，说明基于本文算法进行情感识别是有效的。

表3 积极和消极情感状态识别率

为了评估本文算法性能，分析比较了本文算法与其他研究组的工作，如表4所示。由于表4中所采用的情感脑电数据来源不同，特征提取和个数不同，所以本文只是对各个研究组的结果予以简单比较说明。表4表明，选择支持向量机作为分类器实现情感识别，识别正确率均在70%以上，Murugappan采用k近邻(KNN)分类器，识别最高正确率达到83.04%，本文算法最高正确率达到92.80%。

表4 情感识别正确率比较

3 结 论

本文提出了一种基于排列熵与多重分形去趋势波动指数相结合的情感脑电特征提取算法，以支持向量机作为分类器实现情感识别，并对算法在情感脑电识别中的性能进行了比较。积极与消极两类情感状态识别结果显示：基于本文算法测试集正确率达到78.3%，相对于其他特征选择方法较高。六种情感状态一对一识别结果表明：测试集识别正确率最高达到92.8%，除了激动对可怕外，其余都在80%以上。本文算法与单独使用排列熵、多重分形特征相比，测试集识别正确率分别提高了41.6%和31.2%。基于排列熵与多重分形指数相结合，是一种高效的情感脑电特征提取算法，可以有效地提取脑电的非线性和分形特性特征。

[ 1] Picard R W, Healey J. Affective wearables .PersonalTechnologies, 1997, 1(4): 231-240

[ 2] Murugappan M, Nagarajan R, Yaacob S. Combining spatial filtering and wavelet transform for classifying human emotions using EEG signals.JournalofMedicalandBiologicalEngineering, 2011, 31(1): 45-51

[ 3] Hosseini S A, Naghbi-Sistani M B. Emotion recognition method using entropy analysis of EEG signals.InternationalJournalofImage,GraphicsandSignalProcessing(IJIGSP), 2011,3(5): 30-36

[ 4] Li M, Lu B L. Emotion Classification Based on gamma-band EEG. In: Proceedings of the IEEE Engineering in Medicine and Biology Society,Minnesota, USA, 2009. 1223-1226

[ 5] Bandt C, Pompe B. Permutation entropy:a natural complexity measure for time series.PhysicalReviewLetters, 2002, 88(17): 1595-1602

[ 6] 李谷, 范影乐, 庞全. 基于排列组合熵的脑电信号睡眠分期研究. 生物医学工程杂志 2009,26(4): 869-872

[ 7] Edoardo F, Nadia M, Vittoria C, et al. Permutation entropy of scalp EEG: A tool to investigate epilepsies Suggestions from absence epilepsies.ClinicalNeurophysiology, 2014, 1(125):13-20

[ 8] Xiaoli L, Gaoxian O, Douglas A R. Predictability analysis of absence seizures with permutation entropy.EpilepsyResearch, 2007, 1(77):70-74

[ 9] Kantelhardt J W, Zschiegner S A, Bunde E K, et al. Multifractal detrended fluctuation analysis of nonstationary time series.PhysicaA:StatisticalMechanicsanditsApplications, 2002, 316(1/4): 87-114

[10] 张翔, 丁勇, 刘小峰. MF-DFA在癫痫发作期及发作强度检测中的应用. 数据采集与处理 2013, 28(5): 664-671

[11] 葛家怡, 周鹏, 赵欣等. 睡眠脑电信号的多重分形去趋势波动分析. 天津大学学报, 2008, 41(10): 1148-1151

[12] Akash K M, Ruchira P, Anubrato M, et al. Mutifractal detrended fluctuation analysis of alpha and theta EEG rhythms with musical stimuli.Chaos,SolitonsandFractals, 2015, 1(18):52-67

[13] Koelstra S, Muhl C, Soleymani M, et al. DEAP: A database for emotion analysis using physiological signals.AffectiveComputing, 2012,3(1): 18-31

[14] 李红红. 脑电数据分析方法及其在压力情感状态评估中的应用：[硕士学位论文]. 秦皇岛: 燕山大学生物医学工程系, 2014. 19-34

doi：10.3772/j.issn.1002-0470.2016.07.002

Application of the feature extraction based on combination of permutation entropy and multi-fractal index to emotion recognition

Li Xin******, Qi Xiaoying***, Tian Yanxiu***, Sun Xiaoqi***, Fan Mengdi***, Cai Erjuan***

(*Institute of Biomedical Engineering, Yanshan University, Qinhuangdao 066004)(**Measurement Technology and Instrumentation Key Lab of Hebei Province, Qinhuangdao 066004)(***The College of Life Science and Bio-Engineering, Beijing University of Technology, Beijing 100124)

The emotion recognition was studied by using the entropy analysis of EEG signals, and an algorithm for extraction of emotion EEG features based on the combination of permutation entropy and multi fractal index was put forward. The algorithm achieves EEG feature extraction by combinative use of the parameters of permutation entropy, Hurst exponent, mass index and singular spectrum width, and achieves the emotion recognition by using Support Vector Machine (SVM). The study indicated that for one-to-one emotion recognition, the highest accuracy of the testing set was 92.8%, all higher than 80% except for excitement against fear. The highest accuracy increased by 41.9% compared with the permutation entropy, and 31.2% compared with the multi-fractal index. The classification effects of positive emotion and passive emotion were further analyzed, and the average accuracy of test set was 78.3%, respectively increased by 26.7% and 1.6% compared with the entropy and the multi-fractal feature. The method based on the combination of permutation entropy and multi-fractal index is proved to be an effective algorithm for emotion EEG feature extraction, with the capacity of sufficient obtaining the nonlinear trait and multi fractal feature information.

electroencephalogram (EEG) signal, permutation entropy (PE), multi-fractal indexes, support vector machine (SVM)

10.3772/j.issn.1002-0470.2016.07.001

①河北省自然科学基金(F2014203244)和中国博士后科学基金(2014M550582)资助项目。

②女，1970年生，博士，教授；研究方向：医学信息处理；联系人，E-mail: yddylixin@ysu.edu.cn (

2016-03-28)