王慧　邱义波　骆永乐

摘要 如何从脑活动数据中发现具有生物学意义的知识及规律，正成为当今神经信息学理论与实践研究的热点与难点.基于脑电的情绪识别和情绪及其脑机制的关联研究已经成为神经工程和生物医学工程领域的热门课题.本研究基于脑电信号评价情绪状态，尝试借助脑电耳机来监测“毫无头绪”的脑电波，重点开展了听觉激励对改善焦虑情绪状态的实验研究.借助特定中国古风纯音乐产生听觉信号激励，激发出被试者平静放松的情绪状态，从而改善焦虑，发现音乐和情绪之间可能存在的关系.将来在BCI技术研究的基础之上，情绪识别可以进一步满足患有特定疾病（ALS症、脑瘫、脑干中风、脊髓损伤等）的患者人群的某些更高级的需求，即通过脑电分析出其对事物的喜好度，比如音乐的选择，从而设计出更加友善和智能的BCI系统，在医疗康复领域具有很好的应用前景.

关键词 脑电信号;脑电成像;脑电信号识别;信号处理;音乐激励

中图分类号 B842.6

文献标志码 A

0 引言

大脑是思维的生物基础，大脑执行不同的思维或认知任务，或者精神状态、心理活动或情绪上的改变都会带来大脑特定区域脑电波节律上的改变[1].对于情绪的研究由来已久，使用的方法也各不相同.近年来，随着脑电信号采集设备的应用和推广，信号处理和机器学习技术的快速发展，以及计算机数据处理能力的大幅提高，脑电已经被越来越多的引入到情绪识别的研究中，基于脑电的情绪识别和情绪及其脑机制的关联研究已经成为神经工程和生物医学工程领域的热门课题[2].在各种人-机交互系统里，如果系统能识别出人的情绪状态，人与机器的交互就会变得更加友好和自然[3].

一般而言，大脑的状态在一定程度上可以通过脑电波的振幅、频率反映出来，目前国际上是依照频率对脑波进行划分：δ波、θ波、α波、β波和γ波.而从生理学和心理学角度可解释这一划分：δ波频率范围为0.5～3.5 Hz，在成人的脑电采集中很少出现，大多出现在大脑睡眠状态下，如深度麻醉、熟睡等;θ波频率范围为3.5～7.5 Hz，此波一般在人处于高度放松状态并稍有困意时显现;α波频率范围为7.5～13.5 Hz，在脑电信号采集中，该波最为明显，尤其是在成人安静闭目状态下;β波频率范围为13.5～35 Hz，当人体处于紧张状态、注意力高度集中或者进行强烈的脑力活动时，α波幅值降低，转化为β波[4].

音乐是人类智慧的结晶，对人的精神状态有着重大影响.这种影响是通过神经元活动而进行的，通过对脑电信号的研究，即可观察到这种影响.基于以上脑波的划分，音乐对人体状态的影响可以通过对脑电信号的采集、分析得到更好的诠释.也正是由于音乐的特殊性质及其与脑电波之间的关联，使得音乐刺激的脑机制研究已逐渐成为研究热门.音乐与情绪的关系始终是学术界关注的热点问题之一.近年来，随着认知神经科学的发展，音乐情绪加工的认知神经机制已成为音乐心理学研究的核心[5].越来越多的研究者青睐以不同旋律的音乐来刺激诱发人类情绪，通过采集到的 EEG 数据对情绪脑机制进行研究.大脑处理不同旋律的音乐，会逐渐产生不同的心理变化和生理反应.如在旋律轻松的音乐中，人们就会呈现出一种放松的状态[6-7].

本文借助Neuro Scan公司最新研发的Mindwave脑电耳机，开展了基于脑电信号评价受试情绪状态，以及中国古风纯音乐产生的听觉激励对改善焦虑情绪可能存在的影响的实验设计及研究.具体研究思路如下：首先，通知受试执行假想紧张思维任务，借助Mindwave脑电耳机将采集后的腦电数据蓝牙发送给电脑，利用经验模态分解（Empirical Mode Decomposition，EMD）提取出脑电信号中的主要成份，再通过Hilbert变换（Hilbert Transform，HT）构成相应的解析信号，之后求取瞬时频率，进而绘制Hilbert时-频-幅值谱，若Hilbert谱呈现的主要频率和表征焦虑状态的频率区间（β波段）基本重合，即可推断出受试者处于焦虑的情绪状态.之后，电脑随机播放预先“挑选”好的中国古风舒缓纯音乐片段集，再将新的脑电数据发送给电脑，运用上述信号处理方法再次处理之后，若Hilbert时-频-幅值谱呈现的主要频率和表征放松状态的频率区间（α波段）基本重合，则可推断受试者焦虑情绪有所改善.可视化呈现方面，借助Neuro Scan公司为Mindwave脑电耳机开发的脑波显示软件和瑜伽球游戏软件，由软件界面显示放松度指标和瑜伽球漂浮高度，来表征受试情绪是否得到改善.

1 听觉激励改善焦虑情绪的实验设计及研究

1.1 实验目的

做本实验的目的，是希望采集处理被试者在焦虑情绪状态下的脑电信号，寻找出一种准确高效的基于脑电的情绪识别的方法和思路.之后，通过一定的听觉信号激励方法，激发出被试者平静的情绪，从而改善情绪，发现音乐和情绪之间可能存在的关系.

1.2 刺激材料

考虑到带有歌词信息的音乐诱发得到的情绪的可控性不强，因为言语素材的内容可能与被试者的经历以及被试者对于歌词的上下文了解程度的差异有较大关系，故本文使用纯音乐作为改善情绪的声音刺激材料[8].考虑到受试者为中国人，对民乐的赏析和熟悉度更佳，故音乐元素主要涵盖古筝、古琴、笛子、箫等.

挑选了8段中国古风纯音乐（《金子陵》《一叶子》《千灯引》《月河雪》《蝶花飞舞》《深谷幽兰》《闲云孤鹤》《一念心清净》）作为随机播放的音乐素材，均带有较为平静的情绪色彩，每段纯音乐时长均在1 min左右，足以使受试者达到需要的情绪状态并有一定的保持，还不至于产生听觉疲劳.

首先让受试者进行以下思维过程：假想紧张以诱发β波（本研究小组前期曾探索过冥想放松和假想紧张两种想象活动下的脑电活动特征，实验分析结果表明两种新型思维任务下自发脑电信号特征提取及分类方法效果良好，分类精度达到 95%，相关论文发表于Technology and Health Care 2015年第23期（SCI））[9].

1.3 被试情况

考虑到声音刺激有可能引起某些副作用，故选择实验对象为听力均正常，无任何脑神经系统疾病的健康人群.共有6名志愿者作为测试样本，均为在校研究生，男女志愿者各3名，年龄22～38岁之间，平均年龄27岁.受试者被提前告知实验目的、实验流程和注意事项，脑电波耳机对人体是无害的，尽量消除被试人员的紧张情绪及体动、吞咽口水、眼球移动所引起干扰脑电信号的可能性.根据对被试人员的调查了解，倾向于选择对纯音乐有一定兴趣的人员作为被试人员，采用 1〖DK〗∶1 的被试人员性别比例.

1.4 实验环境

实验现场环境如图1所示，光线适中、温度适宜.硬件平台主要包括Neuro Sky公司的Mind Wave Mobile蓝牙脑电耳机和Thinkpad笔记本电脑组成.

脑电耳机的一个输入端与使用者前额的脑电传感器相连，另一个输入端与使用者耳部电极相连，通过干电极得到使用者FP1和A1信道的脑电波电压变化，所采集的原始前额叶脑电波信号具有时间分辨率高、采集方法简单、无创等特点.脑电耳机设备内置Think Gear芯片，可对采集到的脑电电压进行预处理，得到反映脑电强度的数字信号输出;脑电耳机上集成无线蓝牙模块，与电脑实现数据传输.电脑实时采集储存、分析处理原始脑电信号Rawdata数据，并根据受试者情绪状态随机播放舒缓的刺激音乐.借助计算机软件界面，可以可视化反映受试者放松程度.

1.5 实验流程

1）告知受试者实验内容以及实验中的注意事项，关闭手机等可能造成干扰的设备.让受试者填写背景信息调查表，记录被试者的基本信息.

2）启动Neuro Sky公司的Mind Wave脑电波耳机系统的电源，启用蓝牙配对模式，给受试者佩戴脑电波耳机，观察设备运行情况.

3）电脑播放事先准备好的电影《辛德勒的名单》背景音乐片段作为示例音乐，让受试者适应实验环境，并根据受试者的习惯调节音量等设置.

4）设置脑电采集的参数，本文选择的采样频率为1 024 Hz.

5）观察脑电信号波形，查看脑电信号的记录是否存在异常，若出现异常，进行调整，或者记录下来以便数据处理时参考.

6）告知受试者进行假象紧张思维任务，电脑同时实时采集记录储存原始脑电信号Rawdata数据，并通过希尔波特-黄变换（Hilbert-Huang Transform，HHT）[10]算法对其进行分析，研究脑电在焦虑紧张情绪状态下的表现和特征.经过预先设定的中國古风纯音乐刺激后，再次将脑电通过HHT算法对其进行分析，继而从脑电信号Hilbert时-频-幅值谱、脑波显示软件和瑜伽球游戏软件显示结果3种方式判断受试者焦虑情绪是否有所改善，初步发现音乐和情绪之间可能存在的关系.

7）结束实验，确保保存好脑电数据，关闭软件和硬件设备，为受试者脱下脑电波耳机.

2 实验研究成果

2.1 数据分析处理

本研究在脑电识别中引入了基于EMD和HT的时频分析方法——HHT算法来提取脑电的时频特征.HHT可将原始高维的信号空间转变为低维的特征空间，将原始特征域中不易被观察和检测的Hilbert幅值谱特征在变换域中显示出来.

由于脑电信号的非线性非平稳性，单纯考虑时域特征或频域特征都是不全面的，因此本研究试图将时域和频域联系起来，找出相应的时频特征.时频分析方法主要有HHT和小波变换等.小波包分解利用联合的时间-尺度函数来分析非平稳信号，但是小波包分解的不足之处在于变换前需要设定小波基函数，而且模式识别精度与所选基函数有很大关系，需要反复的尝试和选择.故而，本研究拟利用HHT，基函数不需要事先设定，变换过程根据信号的局部特征自动选择基函数.

HHT是一种无需任何先验知识的自适应时频分析方法，具有较高的时频分辨率.EMD是HHT方法的核心，其依据信号本身的局部时间尺度特征，按频率由高到低把复杂信号分解为有限个固有模态函数（Intrinsic Mode Function，IMF）分量之和.分解基依赖于信号本身，数据的分解有真实的物理意义，是一种新的主成分分析法.EMD使得每个IMF信号是窄带信号，以满足HT的要求.IMF必须满足以下两个条件：

1）对于一列数据，极值点和过零点数目必须相等或至多相差一点;

2）极大点构成的包络线和极小点构成的包络线的平均值为零.

EMD将待分解信号相邻峰值点间的时延定义为时间尺度，分解通过一种称为筛选的计算步骤来实现：

1）设x（t）代表需要分解的信号.首先找出x（t）上所有的极值点，用3次样条曲线连接各极大值点形成x（t）上的包络线，同样连接各极小值点形成下包络线，确保x（t）上的所有点在上下包络线之间;

2）定义上下包络线之间的均值为m1，x（t）与m1的差定义为h1（1）=x（t）-m1;

3）判断h1（1）是否符合IMF分量条件，如果满足，则为第1个IMF，如不满足，则继续对h1（1）重复上面步骤1）和2）的筛选过程;

4）假定经过k次筛选后的结果h1（k）满足IMF的定义，则x（t）的第1个IMF分量为C1 = h1（k）;

5）随后，将x（t）与C1的差r（t）=x（t）-C1作为新的数据重复上述筛选过程，可得第2个IMF 分量C2;

6）当IMF分量Cn或余量rn小于预先设定的值，或者余量rn已经成为单调函数时，则整个筛选过程结束.

经过上述步骤后，x（t）可分解为n个IMF分量及余量rn的和：

同样，利用式（10）可以将幅值与瞬时频率随时间的变化表示在一个三维图中，即在联合的时频平面上将幅值的轮廓勾勒出来.这种幅值的时间-频率分布即定义为原始信号x（t）的Hilbert幅值谱H（t，f），或简称为Hilbert谱.根据式（9）与式（10），信号x（t）的Hilbert谱可表示成

Hilbert谱可以看作是一种加权的联合幅值-频率-时间的三维分布，而赋予每个时间-频率单元的权重即为局部幅值.对于Hilbert谱来说，坐标中的某个点代表着整个时间历程中，在该时刻，局部出现了这样频率的一个波动.Hilbert谱中，每个时间-频率点处对应的值就是信号的局部幅值.

2.2 实验效果演示

思维任务的指令是假想紧张.首先电脑屏幕提示受试者进入假想紧张状态（如想象恐怖动物追赶、工作生活中的压力等），信号采样频率1 024 Hz，采集前额叶原始EEG信号，之后首先进行基于FFT的理想低通滤波，考虑到β波的波段，选择截止频率为30 Hz.滤波后的脑电信号经过EMD后得到相应的IMF1，绘制如图2所示.

相应的Hilbert时-频-幅值谱绘制如图3所示.

由图3可见，当受试者执行假想紧张思维任务时，Hilbert谱的频率成分和β波的频率区间基本重合（真实瞬时频率=采样频率×正则化频率）.

受试操作Neuro Scan公司开发的脑波显示软件和瑜伽球游戏软件截图分别如图4和图5所示，可见受试者情绪放松度很差.

受试接受中国古风纯音乐激励后脑电信号经过EMD后得到的IMF1绘制如图6所示.

相应的Hilbert时-频-幅值谱绘制如图7所示.

由图7可见，当受试者接受中国古风纯音乐听觉激励后，Hilbert谱的频率成分基本和α波的频率区间基本重合，可以认为受试者情绪状态已经放松下来.受试操作Neuro Scan公司开发的脑波显示软件和瑜伽球游戏软件截图分别如图8和图9所示，可见受试者放松度得到了很大的提高.

3 结束语

本文借助Neuro Scan公司最新研发的Mindwave脑电耳机，开展了受试者在紧张焦虑情绪状态下的脑电信号监测，以及听觉激励对改善焦虑情绪可能存在的影响的实验设计及研究.即通过一定的听觉信号激励方法，由中国古风纯音乐激发出受试者平静放松的情绪状态，从而改善紧张焦虑状态，发现音乐和情绪之间可能存在的关系.在脑-机接口技术的基础之上，情绪识别可以进一步满足残疾人的某些更高级的需求——对于患有特定疾病的残疾人，可以通过脑电分析出其对事物的喜好度，比如音乐的选择，从而设计出更加友善和更加智能的脑-机接口，提高残疾人的生活质量，应用前景良好.

虽然本研究小组基于脑电的情绪识别及改善研究已经有了比较大的进展，但尚处在实验室阶段，离实际应用尚有相当距离，主要存在下列问题有待解决：

1）脑电信号在情绪表征的过程中具有一定的个体差异性，且不同受试者对于同一听觉激励材料的反应也会存在一定的差异，接下来的工作将是寻找脑电信号-情绪特征-听觉激励之间的对应关系，从而消除目前研究中的个体差异性;

2）本研究目前受试数只有6名，在接下来的工作中，我们会增加实验者的数目，获得更多实验数据，以使得实验结果更可靠;

3）目前采用Neuro Sky公司的Mind Wave Mobile蓝牙脑电耳机提取前额叶的单电极脑电波，在接下来的工作中，我们可能会采用多电极脑电采集系统提取脑电波，并对于情绪识别的关键脑区问题进行研究;

4）在更长远的未来，我们将会把基于脑电的情绪识别拓展到图片识别、眼电识别等，并与实际应用相结合，实现在线检测受试者的多种情绪.

参考文献

References

[1] Friedrich E V C，Scherer R，Neuper C.The effect of distinct mental strategies on classification performance for brain-computer interfaces[J].International Journal of Psychophysiology，2012，84（1）：86-94

[2] 成敏敏.基于EEG的情绪信息特征及其分类方法研究[D].南京：东南大学，2017

CHENG Minmin.Emotionalin formationfeatures and itsclassification based on EEG signals[D].Nanjing：Southeast University，2017

[3] 聂聃，王晓韡，段若男，等.基于脑电的情绪识别研究综述[J].中国生物医学工程学报，2012，31（4）：595-606

NIE Ran，WANG Xiaowei，DUAN Ruonan，et al.A survey on EEG based emotion recognition[J].Chinese Journal of Biomedical Engineering，2012，31（4）：595-606

[4] Thilo H H，Tsutomu K，Harald W.Psychophysiological classification and staging of mental states during meditative practice[J].Biomed Tech，2011，56：341-350

[5] 王莞琪.聲乐与器乐情绪知觉的差异性及其成因探究[D].上海：上海师范大学，2017

WANG Wanqi.A probe into the difference of emotional perception between vocal music and instrumental music and its causes[D].Shanghai：Shanghai Normal University，2017

[6] 廖智，朱珍民，王毅，等.基于轻音乐加音乐节拍方式的大脑双重刺激诱导方法[J].计算机工程，2017，43（11）：27-31，39

LIAO Zhi，ZHU Zhenmin，WANG Yi，et al.Brain double simulation inducing method based on light music and music beats way[J].Computer Engineering，2017，43（11）：27-31，39

[7] 于悦，姜媛，方平，等.音乐诱发情绪测量及其影响因素[J].心理与行为研究，2014（5）：695-700

YU Yue，JIANG Yuan，FANG Ping，et al.Measurement for music-induced emotions and its interacting factors[J].Studies of Psychology and Behavior，2014（5）：695-700

[8] 聶聃.基于脑电的情感识别[D].上海：上海交通大学，2012

NIE Ran.EEG based emotion recognition[D].Shanghai：Shanghai Jiao Tong University，2012

[9] WANG Hui，SONG Aiguo，LI Bowei，et al.Psychophysiological classification andexperiment study for spontaneous EEG basedon two novel mental tasks[J].Technology and Health Care，2015，23：249-262

[10] Huang N E，Shen Z，Long S R，et al.The empirical mode decomposition and Hilbert spectrum for nonlinear and non-stationary time series analysis[J].Proc R Soc Lond，1998，454：903-995

Evaluation of emotional state based on EEG signals and

improving emotionsby auditory stimulation

WANG Hui1 QIU Yibo2 LUO Yongle1，3

1 Institue of Intelligent Machines，Chinese Academy of Sciences，Hefei 230031

2 Longtan Prison，Nanjing 210034

3 Hefei Institutes of Physical Science，University of Science and Technology of China，Hefei 230026

AbstractIdentification of biological significance using brain activity data is a research hotspot in neuroscience theory and practice.The emotional recognition and study of the correlation between emotions and brain mechanisms based on electroencephalograms （EEGs） are important topics in the fields of neuroscience and biomedical engineering.In this study，the emotional state of a subject was evaluated using EEG signalscollected using the MindWave Mobile 2EEG headphone，and the “clueless” mind wave was monitored as well.An experimental study on improving the state of anxiety by auditory excitation was conducted.Auditory signal stimulation was achieved with specific antique Chinese pure music sets，which stimulated the emotional state of calm relaxation in the subjects.Thus，their anxiety was reduced，and the possible relationship between music and emotion was derived.In the future，brain-computer interface （BCI） technology can help meet the more advanced emotional recognition needs of patients with specific diseases （such as ALS，cerebral palsy，brainstem stroke，and spinal cord injury） via EEG analysis of their preferences for aspects such as choice of music.Thus，a more user-friendly and intelligent BCI system，with good application prospects in the field of medical rehabilitation，could be designed.

Key wordselectroencephalogram signal;brain imaging;electroencephalogram recognition;signal processing;musical stimulation