李洪伟，李海峰，马 琳

(哈尔滨工业大学 计算机科学与技术学院，黑龙江 哈尔滨 150001)

1 研究背景

人类的基本认知功能之一就是对音乐的情感反应.对情感的研究由来已久，情感研究领域的研究者提出从不同的角度揭示情感的产生、发展.目前主流的情感理论有两种: 一种是以Ekman等[1]为代表的基本情感理论(basic emotions theroy)，认为基本情感(discrete emotion)在人类中是普遍存在的，包括兴奋(excited)、高兴(happy)、宁静(serene、calm)等基本积极情感以及悲伤(sad)、愤怒(angry)、无聊(bored)和痛苦(distressed)等基本消极情感，基本情感是相对独立的；另一种是以Russell[2]等为代表的情感的维度理论(dimensional model of emotion)，该理论认为核心情感在大脑中是连续的，由愉悦度(非愉悦-愉悦)和唤醒度(非唤醒-唤醒)两大维度混合而成，其表示方式如图1所示.目前大多数学者更认同情感的维度理论.

图1 情感的维度理论模型Fig.1 Dimension theory model of emotion

音乐产生情感的脑机制一直是研究的热点.研究者对音乐诱发情感的脑认知机制的研究主要是通过脑电信号(electroencephalogram, EEG)和功能性磁共振成像(functional Magnetic Resonance Imaging, fMRI)完成的[3].目前已有的研究结果证明脑在对音乐要素的认知过程中的确存在着模块化的结构.某一区域的损伤不会影响其他区域对音乐要素的加工，说明脑具有的相对独立性.

Schupp等[4]通过事件相关电位(Event Related Potential, ERP)方法来探究音乐诱发情感的神经机制，他们发现情感的早期加工与ERP成分的前120ms成分密切相关.Peretz等[5]通过对失乐症患者的研究，发现右脑损伤的患者不能感知前后音高的差异，但是却能感受到不同刺激间的间隔事件是一致的，而左脑损伤的患者能感知前后音高的差异，但却不能感知刺激的间隔，右颞叶受伤的患者不能很好地识别不同乐器的乐音，即失去了对音色的感知能力，但却能感知音乐的其他要素.Siedenburg等[6]通过进一步的研究发现，大脑对音色要素的认知存在单独的神经通道.左侧颞顶区受伤的音乐家丧失了对节奏的认知能力，无法准确把握节奏，但却保留了对韵律和旋律的认知能力[7].这表明大脑对节奏与对韵律和旋律进行处理的功能区位于不同脑区，左侧颞顶区与节奏认知存在关系[8].随后，Brancucci等通过双耳分听实验研究发现音高系统由右侧脑支配，而左侧脑在涉及时间变化的节奏和节拍系统方面起作用，即负责音乐结构，但是这需要右侧脑半球支持，所以虽然大脑左右半球加工功能不同，但大脑的音乐功能需要两个大脑半球共同参与[9].

2010年，赖永秀等[10]采用ERP主动听觉实验范式研究发现: 音强重音影响听众对中速序列局部速度扰动的感知，且影响显著.项爱斋等[11]的fMRI研究结果显示: 随着音乐的进行，人脑与情感加工的相关脑区被显著激活，并且大脑对喜悦和恐惧情感具有不同的神经加工网络.聂聃等[12]通过视频刺激，诱使被试产生积极情感和消极情感，并提取了50种不同特征，将这些特征映射到脑区和频段上，发现这些共性特征分布在alpha，beta和gamma频段: alpha频段特征主要分布与右枕叶和顶叶部位，beta频段特征主要分布在的中间区域，gamma频段主要分布在左额叶和右颞叶.

大脑网络可以看成是代表神经元或者脑区等的点与代表神经元或者脑区等之间联系的边所构成的脑图(brain graph).根据脑图中点、边性质的不同，可以构成不同层次的脑网络.人脑网络是典型的复杂网络，具有“小世界”属性和无标度性，引入图论中的复杂网络模型能有助于理解脑网络拓扑结构与其功能差异的关系.

已有众多关于情感识别的研究表明: 使用EEG脑网络进行复杂网络分析，能够有效区分不同的情感状态.Csukly等[13]通过脑网络发现在处理受损情感刺激时，精神分裂患者在低频的beta波段显示出去同步化的降低，并且在处理负性情感与非负性情感刺激下的低频beta波段的去同步化差异明显低于正常对照组.曹锐等[14]使用相位滞后指数(Phase Lag Index, PLI)在基于生理信号的情感分析数据库(Database for Emotion Analysis using Physiological signals, DEAP)上构建了不同波段下的人脑EEG功能脑网络进行情感识别，准确率达到了63%以上.Gupta等[15]则构建了该数据集上的幅值平方相干功能脑网络，提取平均路径长度、全局效率、局部效率等特征，在两个维度上的分类的准确率均达67%以上.

本文针对传统脑网络研究中忽略了脑的实时性和动态性的问题，提出了动态脑网络用于分析长时音乐欣赏诱发的脑电信号.在长时间音乐欣赏过程中，脑的连接性会不断地发生变化.我们使用互信息对脑电信号的不同频带构建动态脑网络，观察脑网络随时间的变化并用于情感识别.我们使用脑网络进行情感分类，4分类下情感识别率达到了53.3%，超过了目前的最高识别率.

2 长时音乐情感的脑认知实验

2.1 实验材料与被试

实验数据是本实验室自行采集的脑电数据.刺激材料是16首通过预实验筛选出的钢琴曲，每首曲子时长为30s，播放音量均在60dB以下，在人耳接听声音的舒适音量范围内.预实验: 选择60首经典钢琴曲，请不参加实验的志愿者(共10人)依次听取并填写情感量表，统计所有人的打分结果后，取情感变化最强烈的16首并截取高潮部分30s.

2.2 实验流程

参加实验的被试来源为31名哈尔滨工业大学大二和大三的学生(21名男生，10名女生).所有被试均为右利手；所有被试母语均为汉语，第一外语都为英语；所有被试本人无神经系统疾病且家族无相应遗传病史；所有被试无专业音乐背景.

脑电数据采集流程如下.

1) 被试被告知实验目的、实验流程以及注意事项.被试填写个人信息表并保证属实，被试在同意实验书上签字.

2) 为被试佩戴脑电信号采集设备，被试坐在隔音室中的舒适椅子上，两眼注视屏幕中心，眼睛距离电脑屏幕60～80cm.

3) 15s静息脑电数据采集.

4) 为被试播放1首音乐，采集其脑电数据，播放过程中屏幕中央显示符号“+”以帮助被试集中注意力.

5) 15s静息脑电数据采集.

6) 被试听完音乐后15s填写情感量化表，情感量化表由愉悦度和唤醒度两部分组成，得分1～9表示愉悦度或唤醒度从高到低，被试需根据自身情况如实填写该量化表.

7) 被试自由休息30s.

8) 更换音乐并重复步骤3)～7)，16首音乐全部播放1次后，继续后续实验步骤.

9) 为被试取下脑电信号采集设备，为被试清洗头部，给予被试物质奖励.

实验的简易流程图如图2所示.

图2 脑认知的实验流程Fig.2 Experimental process of brain cognition

实验采用Presentation软件播放系统，按照实验流程编写程序.所有实验均在本实验室配置的隔音暗室中进行，实验时始终控制光线条件一致.脑电信号通过NeuroScan脑电记录仪记录，该设备使用64个电极进行数据采集，电极排列位置根据国际10-20系统标准放置，以Scan4.5(NeuroScan Inc., Herndon, VA, USA)记录脑电信号，采用左右乳突参考避免左右半球不对称性，所有信号经过SynAmp2系统放大，传到主试电脑上被记录，采样频率为1000Hz，各电极头皮阻抗均小于5.0kΩ.采用Presentation15.0软件同步记录行为学数据.

3 EEG数据处理

3.1 EEG数据预处理

原始脑电信号在采集过程中受到各种噪声干扰并有与包含其他认知心理学活动不相关的神经反应引起的电活动，而真正与脑认知相关的电位变化只有几微伏，通常远小于神经细胞自发活动引起的电位变化(几十微伏以上)，因此对脑电信号数据研究前需要对测量到的脑电信号进行预处理.

本文首先对脑电信号进行预览，人工剔除较为明显的干扰噪声以及典型的因被试头部的运动产生的大幅度数据漂移，使用全电极的均值作为参考电极；其次，对脑电信号做1～45Hz的带通滤波，去除市电与电器频率干扰；最后，对脑电信号做独立成分分析(Independent Component Analysis, ICA)分解， 将EEG信号分离成相互独立的信号，去除眼电、肌电等伪迹信号后，将留下的信号还原得到干净的EEG成分.

3.2 脑网络的构建

脑网络构建的流程如图3所示，具体可以分为以下4个步骤.

图3 脑网络构建的流程图Fig.3 Flow chart of brain network construction

1) 定义脑网络节点.节点可以是脑电记录中多电极阵列中的电极位置，也可以是根据先验知识或解剖学经验自定义感兴趣脑区作为节点.在本文中，我们使用电极位置作为脑网络的节点，实验共有62个有效数据电极，因此，构建的脑网络共有62个节点.

2) 估计节点间可能的连接，选择合适的度量指标度量节点之间的关联强度，得到关联矩阵.在本文中，我们使用互信息来刻画两个电极之间的关联强度.两个离散随机变量X和Y的互信息的计算如下:

(1)

互信息的本质是1个变量包含另一个变量的信息.在EEG信号中，某个电极上含有其他电极信号上的信息，存在信息传递，即互信息.因此，我们可以使用互信息描述大脑皮层上各个导联所代表的脑区间联系的密切程度.

3) 连接矩阵的生成.对每对节点间的连接进行编译，取1个阈值，将低于阈值的连接设为零或删去，从而构成连接矩阵.

4) 绘制网络拓扑，计算网络的图论参数或进行认知层面的解释.

至此，传统的脑网络构建完成.

脑网络构建的实质是将复杂的大脑通过定义节点和边得到数学上的表示，从而可以利用数学理论进行分析.由脑网络的构建过程我们可以发现: 传统的脑网络是1种静态网络，它表达了脑在某段时间内的连通性，弱化了EEG信号实时性的特点.为了弥补这种缺陷，我们提出了动态脑网络的概念.

在本文中，我们取200ms的滑动时间窗，在每个窗内构建1次脑网络，直至音乐结束，从而得到脑在音乐持续阶段，脑连通性的动态变化.我们提取每个时间窗内脑网络的特征，分析脑网络特征的动态性变化规律.

3.3 脑网络特征的提取

本文主要提取以下脑网络特征.

1) 节点度 节点度是对节点相互连接的统计特性最重要的描述，也是反应重要的网络演化特性[16].节点度是用来度量图G中节点i与其他节点之间的连接性的属性指标，定义为图G中连接节点i的边数，是节点的出度与其入度的和.节点度是复杂网络分析当中使用的最为广泛的局部属性之一.第i个节点的度ki的定义如下:

(2)

其中:E={1，2，…，N}，为图G所有节点的集合；aij为节点i与节点j连接的边数.

2) 聚类系数 聚类系数是复杂网络理论中重要的拓扑属性，其量化网络中节点的聚集程度，它表示某个节点的邻居节点间互为邻居节点的可能性[17].举例来说，在朋友关系网络中，聚类系数是指1个人的朋友彼此间也是朋友的可能性.常见的3种网络中，规则网络与小世界网络具有较高的聚类系数，而随机网络的聚类系数较低.节点i的聚类系数

(3)

其中:Bi表示的是与节点i相邻的节点中存有连接的边数；ni表示节点i的全部连接点数目.

在网络中，聚类系数越大的节点，网络的局部的集团会越紧密.通常，我们使用所有节点的平均聚类系数(C)来描述1个网络，且

(4)

4 结果分析与讨论

4.1 行为学实验结果

我们对被试填写的情感量表进行统计，得到各个被试听音乐时的情感状态，将所有被试的结果做统计平均，得到如图4所示的统计分布图.

在分布图中，被试情感打分的期望分布与实际分布相似，表明被试确实按照预测诱发出相应的情感.根据被试的实际打分表，我们将实验所用音乐分为4类，如表1所示，其中曲目10的实际打分与预期打分边界不明确，舍弃.

图4 被试的音乐情感分布图Fig.4 Music emotion distribution map in the database

表1 音乐情感分布表

Tab.1 Music emotion distribution of subjects

情感曲目Happy1,2,3,4Distressed9,16Bored5,12,13,14,15Calm6,7,8,11

4.2 情感的动态脑网络分析

我们使用愉悦度和唤醒度将情感划分为4类: Happy、Distressed、Bored、Calm.根据已有的研究成果[12，18]，不同情感间的差异主要表现在alpha频段和gamma频段上，其中以alpha频段差异最为明显.因此，我们选择alpha频段来进行脑网络的构建.图5为4类情感在0～200ms时段alpha频段的脑网络的连接矩阵图.

图5 0～200ms时段alpha频段的脑网络的连接矩阵Fig.5 Adjacency matrix of alpha band brain network from 0 to 200ms

图5所示结果为所有被试在该情感类别下的总平均.从图中可以发现，在对角线方向上，连接矩阵的值普遍较高，这说明在脑电信号中，1个电极总是包含着附近几个电极的信息.另外，在连接矩阵图上还可以明显看出，电极间存在聚集效应，相邻几个电极间互信息较高，表现在连接矩阵图上为形成了一个个矩阵块.

图6为4类情感的脑网络特征随时间变化的示意图，图6(a)是节点度的时间变化图，图6(b)是聚类系数的时间变化图，图中横轴代表时间，纵轴分别是节点度的取值和聚类系数.从图中可以看出，Calm、Happy和Bored这3类情感的脑网络特征层次分明，具体表现为在节点度变化图和聚类系数变化图上，Calm具有最高的节点度分布，Happy次之，最低的是Bored.这种层次性在音乐持续期间一直保持.这说明这两种脑网络特征可以用来区分这3类情感.

图6 脑网络特征的时间变化图Fig.6 Time-varying graph of brain network characteristics

4类情感的脑网络的特征统计量如表2所示.由表可知，Distressed情感具有最高的标准差，这说明Distressed情感的离散程度很高，即该类情感的时间过程中，脑的连接性不断地发生较大的变化.

4.3 情感分类结果

根据3.2节的研究，我们发现4类情感之间的脑网络特征存在区分度，其中Distressed情感与其他3类情感在离散程度上存在较大区别，而Calm、Happy和Bored这3类情感在数值上存在明显区别.基于这一发现，我们用图7所示的分类策略，首先使用支持向量机(Support Vector Machine, SVM)分类器区分Distressed和其他3类情感，然后将非Distressed类别的样本再使用SVM分类器进行分类.

表2 脑网络的特征统计量Tab.2 Characteristic statistics of brain network

图7 基于认知规律的分类策略Fig.7 Classification strategy based on cognitive rules

为了比较我们分类策略的效果，使用多层感知器(Multilayer Perception, MLP)、SVM、K最近邻(K-Nearest Neighbor, KNN)，bagged tree等多种分类器在我们自行采集的数据集上进行试验，结果如表3所示.

由表3可知，使用脑网络特征进行情感分类的识别率最高可以达到53.3%.这说明我们所提出的动态脑网络可以有效地区分不同种类的情感.

表3 基于脑网络特征的四分类情感识别结果Tab.3 Four-class emotion recognition result based on brain network characteristics

在使用单一特征时且无分类策略加入时，MLP与SVM分类器的性能相似，但在SVM分类器中加入分类策略后(即本文的方法)，SVM的识别效果明显好于不加入分类策略的SVM和MLP.这说明，通过认知规律指导，进行精细化分类是提高情感识别率的重要手段.

但是，我们同时也发现在使用两种特征进行分类时，本文方法的识别率发生了下降，经过分析，这是由于脑网络特征的特性导致的，通过脑网络提取的特征并不是正交的，节点度和聚类系数两类特征间存在部分相关，这就导致冗余信息比重增大，从而导致识别率下降.

5 结 语

对大脑神经机制的研究是类脑智能的基础，是实现人工智能的重要途径[18]，对情感的识别是类脑智能领域的重要问题.本文针对音乐欣赏过程中情感产生的脑认知机制及分类方法进行探索，研究了脑认知功能相关的动态特征的提取方法，提出了动态脑网络来研究长时音乐情感.分时段的动态脑网络的分析方法考虑了长时间脑活动中脑的连接性的变化，克服了传统的全时段脑网络过于片面的缺点.实验结果说明基于EEG信号的动态脑网络可以有效地感知人脑的情感变化，为音乐情感研究和情感计算提供了新的研究思路.