王 欣 靳静娜 李 松 刘志朋 殷 涛*

(中国医学科学院 北京协和医学院 生物医学工程研究所，天津 300192)

场景情境与面孔表情图片诱发ERP的早中期成分差异性研究

王 欣 靳静娜 李 松 刘志朋#殷 涛#*

(中国医学科学院 北京协和医学院 生物医学工程研究所，天津 300192)

有关情绪的大脑皮层加工机制研究具有重要科学意义与应用价值。为探讨皮层对场景情境与面孔表情诱发情绪的不同加工机制，采用常见的图片视觉刺激诱发方式，组织了16名青年学生(7男9女，平均年龄27 ± 3)参与情绪诱发实验；记录了被试观看场景情境和面孔表情两类图片(各分积极、消极和中性3种)、进行情绪体验与判别时的脑电信号；对比了不同情绪图片刺激下枕叶事件相关电位(ERP)早中期成分的幅值以及各个脑区的激活情况，并应用幅值均方根(RMS)做了全脑ERP幅值对比分析。结果显示面孔图片刺激下的N1(170 ms)幅值大于场景图片(P=0.031)，P2(250 ms)幅值小于场景图片(P=0.010)，分别体现了面孔加工的特异性和复杂场景的再加工机制；在场景图片刺激下，具有优先加工特点的消极情绪能够比积极和中性情绪诱发出更明显的N1成分(P=0.019)，而积极(P=0.008)和消极(P=0.008)情绪均能在P2时刻获得比中性情绪更多的再加工；此外，全脑ERP幅值对比显示图片刺激的激活区主要为枕叶，而负责情绪调控的额叶在N1和P2时刻被明显激活。上述ERP早中期成分的幅值差异充分说明场景情境图片与面孔表情图片诱发情绪时大脑皮层的加工机制具有一定的差异性，值得深入研究。

面孔表情；场景情境；情绪诱发；事件相关电位

引言

情绪(emotion)是人感知外界事物的心理、生理反应和相关思维与行为的综合意识状态[1]。产生情绪的根源在大脑。大脑主管情绪一类心理意识活动，则情绪状态的变化必定对应着大脑皮层神经元集群的电活动，即应反映在头皮脑电(含自发脑电(electroencephalography, EEG)和事件相关电位(event-related Potentials, ERP)，或称情绪脑电)的时空分布变化。可以想见，如能对不同情绪状态下EEG 或ERP所含各成分的时空信息作深入分析，应能揭示有关情绪的大脑皮层加工机制。显然，相关研究具有重要科学意义与应用价值[2]。

图片视觉刺激是常见的情绪诱发方式。其中面孔图片不仅可提供明确的面孔所属身份信息，还蕴含着诸如年龄、性别、情绪等丰富的社会信息[3]。面孔图片因此可产生具有特殊结构的视觉刺激和情绪诱发，其相应的大脑皮层加工机制与其它非面孔类客体诱发情绪的机制相比有着明显的差异[4]。临床研究中的面孔失认症、行为学研究中的面孔倒置效应以及功能磁共振成像研究发现的梭状回面孔区都体现了面孔加工的特异性[4]。面孔表情是在面孔固有特征的基础上呈现出相应的表情，根据镜像神经元共情原理[5]显示，被试在看到他人的面孔表情时，自己也会在一定程度上诱发出相应的情绪，并且会产生类似的脑区激活和生化反应。面孔表情图片的皮层加工机制不仅包含了相应的情绪调控机制，也伴随着面孔的特异性加工[6]。

场景图片一般含有比较丰富的人物(或动物)、景色与情境内容，能给予观看者身临其境的感觉，具有很强且有一定复杂性的感染力。具有特定含义的场景情境图片往往能够诱发出更强烈、唤醒度更高的情绪[7]，如表征积极情绪的家庭团聚图片和表征消极意义的灾难伤亡图片，而此类图片往往也含有人物(或动物)带情绪色彩的面孔。另外，消极情绪往往与环境中的危险因素或不友好氛围相关，人们为了排除或避免这一情形，大脑皮层趋向于对消极情绪进行优先加工[8-10]。因此，复杂场景往往对观看者兼有情境诱发和面孔表情调控的双重影响。

情绪性图片刺激的早中期皮层加工主要包含注意力的需求和分配以及情绪感知的过程[2]。已有的ERP研究显示：面孔图片能够比非面孔的物体图片诱发出更大的N170成分[4](潜伏期为170 ms左右的负波，主要分布在右侧枕颞叶)，这一成分也称为面孔特异性成分；场景图片由于具有较强的沉浸感，通常占用较多的注意力资源，能够比面孔图片诱发出更明显的EPN(early posterior negativity)成分(早期后部负波)和LPP(late positive potential)成分(晚期正波)[7]。然而，当场景的复杂性、面孔的特异性共同作用于情绪诱发时，大脑皮层的具体加工过程和执行方式尚不明确[11]。为此，本研究拟充分利用头皮脑电EEG 或ERP具有非侵入性、高实时性的优点，着重在时间尺度上研究观看者分别经场景情境图片与面孔表情图片视觉刺激诱发后情绪脑电(ERP)的时空分布变化差异性，以便更细致、深入地了解大脑在场景和面孔及不同情绪之间的内在联系，尝试探讨场景和面孔诱发情绪时与大脑注意资源分配、客体记忆、思维决策、认知加工等相关的不同皮层加工机制。

1 方法

1.1被试

参与本次情绪诱发实验的志愿被试者为16名青年大学生或研究生(男性7例、女性9例，年龄在24-33岁之间、平均年龄为27 ± 3)。所有被试心境状态良好，无心理疾病史，并且签署了知情同意书。

1.2图片刺激材料

情绪诱发实验所选图片材料包括场景情境图片和面孔表情图片两类。场景情境图片呈现特定情境，分为积极、消极和中性3种。其中积极(温馨聚会或愉快旅游)与消极(突发灾难、饥饿痛苦)场景有较鲜明的情绪含义，而中性场景为常见物景(如静物写生或器具照片)，无明确情绪含义。面孔表情图片为一个完整面孔，亦分积极、消极和中性等3种。其中积极(快乐、欣喜)与消极(悲伤、厌恶)面孔表情有较鲜明的情绪含义，而中性面孔无明显情绪表情。两类图片均选自网络图片库。其中，场景情境图片共45张(积极、消极和中性各15张)，面孔表情图片共60张，(积极、消极和中性各20张)。将场景情境图片和面孔表情图片设置为等面积大小，图1为典型场景情境图片和面孔表情图片示例。

图1 典型场景情境和面孔表情图片示例。(a)～(c)典型场景情境图片(依次为积极、消极和中性)；(d)～(f)典型面孔表情图片(依次为积极、消极和中性)Fig.1 Examples of typical scene situation and face expression images. (a)～(c) Typical scene situation images (successively positive, negative and neutral); (d)～(f)Typical face expression images (successively positive, negative and neutral)

1.3实验任务

情绪诱发实验安排在光照柔和、隔音良好、温湿宜人、大小适度的私密房间内进行。实验时，被试者坐姿舒适、佩带脑电采集帽观看前面的图片放映屏幕，脑电采集设备放置于被试的右侧，为避免信号采集对被试形成一定的干扰，记录脑电信号的显示器为侧向摆放，并与被试隔开一定的距离(参见图2(a))。被试的主要实验任务是在图片呈现过程中尽可能地感受其中的情绪，以形成一定的情绪体验，待图片消失以后对图片情绪属于积极、中性或者消极进行按键判断。实验共包含两组，分别为场景情境图片实验和面孔表情图片实验，图片出现顺序为随机(不允许同一种情绪图片连续出现3张以上)，呈现的时间为4 s，图片呈现之前有4 s的静息期，提示符为“+”，用于平静上一幅图片所引起的情绪心境，图片情绪判断时间设置为4 s，被试按键后立即进入下一个静息期(参见图2(b))，因此实际的图片情绪判断时间小于4 s。所有图片背景为白色、图片尺寸和分辨率均调节至最适当的参数。

1.4脑电数据采集

情绪诱发实验采用ActiveTwo 32导脑电系统(Biosemi，荷兰)，记录头皮脑电(ERP)数据，采样率为1024 Hz。该系统技术特色为：检测电极与头皮能始终保持良好接触、极大地降低头皮阻抗，电极内部含有前置放大电路，可显著削弱输入噪声、提高放大增益；前置放大器采用直流电池供电、光纤数据传输，使交流工频干扰和其它电磁噪声得以屏蔽。除脑电数据外，实验还记录了左侧的垂直眼电和左右两侧的水平眼电，用于剔除脑电中的眼电干扰。

图2 实验图示。(a)实验室场景；(b)实验流程示意图Fig.2 Schematic of experiments. (a)Laboratory scene; (b) Schematic of experimental process

1.5预处理

对采集到的脑电数据，首先进行0.1～60 Hz的带通滤波，以去除可能的高频噪声和低频漂移，然后采用全导平均作参考进行数据转换，最后采用独立成分分析(independent component analysis，ICA)方法去除眼电等干扰。

1.6数据分析

首先计算了所有被试在图片情绪判断任务中的正确率和反应时间(定义为从图片消失到被试做出按键反应的时间)。

其次对同类图片刺激下的头皮脑电进行叠加平均，并以刺激前200 ms内的脑电平均幅值为基线进行校准，获得ERP信号，如式(1)所示。

(1)

式中，t=-200～1 000 ms，表示从刺激出现前的200 ms到刺激出现后的1 000 ms；xt为头皮脑电的多次叠加值。ERP分析考察了图片刺激诱发被试情绪后一段时间内事件相关电位(ERP)波形的变化，其时间分辨率可达毫秒级。由于图片刺激属于视觉诱发，本研究重点对比了枕区(视觉初级皮层)的ERP波形，主要关注其早期的P1(潜伏期范围90～110 ms)，N1(潜伏期范围160～170 ms)成分，以及中期的P2(潜伏期范围235～250 ms)成分。

另外，全脑各导联的ERP波形虽大致相似，但各导联ERP的每个早、中期成分峰值出现时刻皆有不同。为此，计算32导ERP在P1、N1、P2以及P3共4个关键时段的幅值均方根(Root Mean Square，RMS)，作为考察各导联对应脑区在情绪诱发过程中皮层神经活跃度参数，用以对比各个脑区的激活程度。RMS计算如式(2)

(2)

式中，n为所选时域宽度，Ei是所选时域宽度范围内的ERP幅值，i=1,2,…,n。

统计学分析对象是同一批被试观看不同情绪图片时的ERP信号，因此采用配对样本t检验进行显著性分析，显著性水平设置为P=0.05。

2 结果

2.1行为学数据分析

行为学结果显示：所有被试正确率在95%以上，反应时在800 ms左右，不同情绪图片任务之间没有显著性统计差异。因此，行为学数据并没有反映出不同图片刺激下情绪判断任务的执行差异，表明所有被试实验操作正常，所采集情绪脑电数据可靠。

2.2枕叶ERP幅值对比分析

图3是全体被试平均所得的枕叶Oz导联处的ERP波形。

图3 场景情境与面孔表情图片刺激下枕叶Oz处ERP波形Fig.3 ERP waveforms of Oz under scene situation and face expression images

从图3可以看出，场景情境与面孔表情图片刺激所诱发的ERP波形在整体上基本相似。为量化不同情绪图片所诱发ERP成分的差异，提取了P1、N1、P2这3个ERP成分的幅值和潜伏期进行对比，并通过配对样本t检验判断不同情绪图片所诱发ERP成分的幅值和潜伏期是否存在显著性差异，显著性水平设置为0.05。其中，场景图片与面孔图片的ERP幅值对比如图4(a)所示，3种(积极、消极、中性)场景情境图片所诱发的ERP幅值对比如图4(b)所示。

图4 不同图片刺激下枕叶Oz导联处ERP幅值对比(*表明所示ERP成分幅值具有显著性差异)。(a)场景与面孔图片；(b)不同情绪的场景图片Fig.4 ERP amplitude comparisons of Oz under different images (‘*’ represents significant statistical difference). (a) Comparisons of scene and face images; (b) Comparisons of scene situation images with different emotions

2.2.1场景与面孔图片的ERP幅值对比

从图4(a)可以看出，场景图片刺激下的N1(潜伏期在170 ms左右)幅值小于面孔图片(统计显著性指标P=0.031)。这可能是因为：已有研究显示N170是面孔特异性成分[4]，而场景图片中虽然也含有面孔或类似面孔的结构，但不如面孔图片中那样突出。

场景图片刺激下的P2(潜伏期在250 ms左右)幅值大于面孔图片(P=0.010)，主要反映了大脑对复杂图片信息的再加工。因为场景图片除了面孔(或类似面孔)结构以外，还包含其它场景信息，需要分配较多资源用于认知再加工。

2.2.2场景情境图片中积极、消极、中性等3种情绪下的ERP幅值对比

从图4(b)可以看出，消极情绪的N1幅值大于中性和积极情绪(P=0.019)，且消极情绪的N1潜伏期(154 ms)分别提前于中性情绪的N1潜伏期(164 ms，P=0.005)和积极情绪的N1潜伏期(162 ms，P=0.052)。其生理意义在于消极情绪往往与环境中的危险因素或不友好氛围相关，为避开这一场景或及时采取相应的措施，大脑皮层趋向于对消极情绪进行优先加工，从而能够更快、更多地分配注意力资源，这一论点与生物进化论一致[8-10]。

同样从图4(b)可以看出，中性情绪图片刺激下的P2幅值小于积极(P=0.008)和消极(P=0.008)场景情境图片。这说明，在图片内容复杂度相近的情况下，情绪性图片能够更多地引起皮层的认知再加工。

2.2.3面孔表情图片中积极、消极、中性情绪ERP幅值对比

3种(积极、消极、中性)面孔表情图片所诱发的3个ERP成分幅值均不具有显著性差异，因此未以柱状图显示。由于在本次面孔表情图片实验中，被试更多是识别分类，情绪体验、沉浸感并不强烈，所以3种不同程度情绪间的ERP成分幅值并未呈现出明显的差异。

2.3全脑ERP幅度对比分析

为分析情绪图片刺激下的全脑激活状况，计算了每导ERP波形在P1、N1、P2、P3等4个特征成分附近信号的均方根值(RMS)。其中，P1、N1、P2等3个成分的时域宽度根据所有枕叶ERP潜伏期的均值和标准差进行选取，分别为72～112 ms、148～180 ms和234～262 ms；P3成分时域宽度则选为335～365 ms，如图5所示。

图5 各ERP特征成分时间宽度在枕叶Oz导联处选取示意Fig.5 The time widths of ERP characteristic components of Oz

图6 各ERP成分的全脑激活状况。(a)P1；(b)N1；(c)P2；(d)P3Fig.6 The whole brain activation of every ERP component. (a)P1; (b)N1; (c)P2; (d)P3

图6是场景积极情绪图片刺激下全部32导脑电在P1、N1、P2、P3处的RMS地形图，图中颜色越深的导联表示RMS值越大，即该导联处的皮层激活强度越强。从图6可以看出，在P1时刻全脑的激活皆很微弱，在N1时刻除了枕叶有明显的激活以外，额叶尤其是前额叶也有较明显的激活；而在P2、P3时刻，枕叶的激活呈现逐步减退的趋势。这一现象表明在图片注视过程中，主要激活的还是初级视觉皮层，在N1时刻激活了与情绪调节相关的额叶，尤其是前额叶皮层；另外，由于本次实验设置的情绪判断任务较简单，所以在P3时刻与认知有关的额叶和顶叶的激活并不明显，但其相对于枕叶的激活程度是增加的，说明在这一时刻确实有认知任务的产生，但并不强烈。

3 讨论

本次情绪诱发实验主要考察分析了场景情境与面孔表情图片刺激诱发下被试的ERP早期(P1、N1)和中期(P2)特征成分的幅值变化情况，能初步明确面孔与场景情境诱发过程中大脑皮层进行认知加工存在差异性，并能较具体找到大脑皮层对消极情绪与积极或中性情绪加工的差异性发生时间段及其在ERP特征成分上的表现；此外，还观察了情绪图片注视过程中的全脑ERP激活状况，从空间分布上了解到各个情绪诱发时段的大脑皮层认知加工活跃区。

本实验所选的刺激材料中场景情境图片和面孔表情图片分别为彩色和黑白色。直观感觉上，彩色图片的渲染力比黑白图片要强，且能吸引更多的注意力。在实验过程中，被试都高度集中注意力，就单独的彩色图片和黑白图片而言，被试均能全身心投入到图片感知中。另外，每张图片呈现之前有4 s的静息期，足以平复上一幅图片的情绪效应，因此色彩的累计效果不会对本实验结果有较大影响。

情绪图片是情绪诱发最常用的素材。通过对本次情绪诱发实验被试者的问卷调查发现：场景情境图片能够诱发出比较强烈的情绪，而面孔表情图片却难以诱发稳定、明显的情绪。这可能是由于本次情绪诱发实验中，被试者的主要任务是需判断情绪图片的积极、消极、中性类别(尤其面孔表情图片需根据面孔结构细微变化做仔细甄别)，较大的认知加工难度令被试的情绪沉浸度不深、体验感不强。通过本次情绪诱发实验体会到采用面孔表情图片刺激诱发情绪需更仔细挑选图片素材，优化实验任务与流程设计，以便更好地获得稳定、明显的情绪诱发效果。

在已有关于情绪图片视觉诱发ERP的研究文献中，多报道观察到晚期正电位成分(late positive potential，LPP)[7,12]，而本次情绪诱发实验中并未出现这一成分。其原因应是由于本实验采用单张图片随机呈现刺激诱发范式，图片之间的时间间隔相对较长(用于平复前张图片所产生情绪背景)；而能观察到LPP文献中实验范式多为刺激图片快速连续呈现(多张图片诱发情绪累加效果产生LPP成分)。另外文献报道[13]，P1成分大多与图片刺激的亮度、对比度等物理属性有关，而本次情绪诱发实验中，P1成分并未在不同情绪图片以及面孔和场景图片之间表现出差异。这在一定程度上也证实了本实验所选图片材料在物理属性上具有较好的一致性。

由图6可见枕叶最活跃的时期为N1时刻附近，即视觉初级皮层主要工作在N1时刻。该观察结果与以往视觉刺激研究结果一致[12]。另外，面孔图片的皮层加工研究发现N170成分是面孔图片刺激的特异性成分，主要分布在枕颞区，且表现为一定程度的右侧占优[4]。而文中图6为场景积极情绪图片的全脑ERP幅值(RMS)对比，在P1、N1、P2时刻的枕颞区均表现出明显激活，且具有一定的右侧占优现象，可见场景图片中的面孔加工依然具有特异性。

4 结论

本研究主要探究了场景情境与面孔表情图片以及不同情绪图片的早中期大脑激活差异，具体记录了16名青年学生观看情绪图片、进行情绪体验与判别时的脑电信号；并对比了不同情绪图片刺激下ERP早中期成分的幅值以及各个脑区的激活情况。结果显示：面孔图片刺激下的N1幅值大于场景图片，P2幅值小于场景图片；消极场景情绪能够比积极和中性场景情绪诱发出更明显的N1成分，积极和消极场景图片刺激均能在P2时刻获得比中性刺激更多的再加工；枕叶是图片刺激过程中的主要激活区，而负责情绪调控的额叶在N1和P2时刻被明显激活。此外，本研究对实验方法、数据结果均进行了讨论，并与前人研究结果进行对比，给出了本研究所反应的大脑机制。

情绪作为脑的一项高级功能，在人类生存与生活中扮演着重要角色。情绪表现是人皆有之的心理意识活动，历来是哲学和心理学所关心、并重点研究的基本课题，也是生物医学工程应研究的前沿课题之一。本研究的下一步工作希望能够尝试采用图片快速连续呈现的情绪诱发实验范式，探索在情绪累积效应模式下，场景与面孔情绪图片刺激诱发时大脑皮层进行认知加工之间以及积极、消极、中性不同层次情绪诱发时皮层认知加工之间的差异性；另外，在情绪图片的选材方面尽可能尝试多种情绪(如在积极情绪图片中选择愉悦和特别愉悦，在消极情绪中选择悲伤、厌恶、恐惧等)、加大不同情绪差异跨度，同时增加同种情绪细分层次，更加细致、全面地揭示情绪诱发时大脑皮层进行认知加工的机制。

[1] 张迪. 情绪脑电特征识别与跨模式分析 [D]. 天津: 天津大学, 2013.

[2] Viviani R. Emotion regulation, attention to emotion, and the ventral attentional network [J]. Human Neuroscience, 2013,13(3): 359-365.

[3] Jiang Yi, Shannon RW, Vizueta N,etal. Dynamics of processing invisible faces in the brain: automatic neural encoding of facial expression information [J]. Neuroimage, 2009,44(3): 1171-1177.

[4] Blau VC, Maurer U, Tottenham N,etal. The face-specific N170 component is modulated by emotional facial expression [J]. Behavioral and Brain Functions, 2007,3(7): 1-13.

[5] Kokal L, Gazzola V, Keysers C. Acting together in and beyond the mirror neuron system [J]. Neuroimage, 2009,47(4): 2046-2056.

[6] Adolphs, R. Recognizing emotion from facial expressions: psychological and neurological mechanisms [J]. Behavioral and Cognitive Neuroscience Reviews, 2002,1(1)： 21-62.

[7] Thom N, Knight J, Dishman R,etal. Emotional scenes elicit more pronounced self-reported emotional experience and greater EPN and LPP modulation when compared to emotional faces [J]. Cognitive, Affective & Behavioral Neuroscience, 2014,14(2): 849-860.

[8] Moser JS, Hajcak G, Bukay E,etal. Intentional modulation of emotional responding to unpleasant pictures: an ERP study [J]. Psychophysiology, 2006,43(3): 292-296.

[9] Schupp HT, Flaisch T, Stockburger J,etal. Emotion and attention: event-related brain potential studies [J]. Progress in Brain Research, 2006,156: 31-51.

[10] Schacht A, Sommer W. Emotions in word and face processing: early and late cortical responses [J]. Brain and Cognition, 2009,69(3): 538-550.

[11] Olofsson JK, Nordin S, Sequeira H,etal. Affective picture processing: an integrative review of ERP [J]. Biological Psychology, 2008,77(3): 247-265.

[12] Luo Wenbo, Feng Wenfeng, He Weiqi,etal. Three stages of facial expression processing: ERP study with rapid serial visual presentation [J]. Neuroimage, 2010,49(2): 1857-1867.

[13] 赵仑. ERPs实验教程 [M]. 南京: 东南大学出版社, 2010: 43-45.

Study on the Differences of Early-Mid ERP Components Induced by Scene Situation and Face Expression Images

Wang Xin Jin Jingna Li Song Liu Zhipeng#Yin Tao#*

(Institute of Biomedical Engineering, Chinese Academy of Medical Sciences & Peking Union Medical College, Tianjin 300192, China)

Researches about the cerebral processing mechanism of emotions have important scientific significance and application value. To probe different cortical processing mechanisms of emotions induced by scene situation and face expression images, 16 graduate students (7 males, average age 27±3) were organized in the experiments. The electroencephalogram was recorded when subjects viewing scene situation and face expression images (separately divided in three types of positive, negative and neutral), as well as experiencing and judging emotions. Early-mid occipital ERP (Event Related Potentials) components’ amplitudes under different emotional images were compared, and RMS (Root Mean Square) was calculated to analyze activation conditions of the whole brain. Results show that the N1 (170 ms) amplitudes induced by face images were larger than that of scene images and P2 (250 ms) amplitudes induced by face images were less than that of scene images, embodying the specificity of face processing and reprocessing mechanism of complex scenes. Negative scene images were processed preferentially and induced more obvious N1 components than positive and neutral scene images, while emotional images could be reprocessed more than the neutral images in the moment of P2. In addition, ERP amplitude comparisons among the whole brain displayed that occipital lobe was the main active region and frontal lobe responsible for emotional regulation was activated mainly in moments of N1 and P2. The above early-mid ERP component amplitude analyses fully showed differences on cerebral processing mechanism of emotions induced by scene situation and face expression images, which deserved further researches.

face expression; scene situation; emotion induction; event related potentials

10.3969/j.issn.0258-8021. 2015. 03.001

2014-12-01， 录用日期:2015-04-20

国家自然科学基金仪器专项(81127003); 天津市科技支撑计划重点项目(12ZCZDSY02000)

R318

A

0258-8021(2015) 03-0257-07

# 中国生物医学工程学会高级会员(Senior member, Chinese Society of Biomedical Engineering)

*通信作者(Corresponding author)， E-mail: bme500@163.com