张 进,刘艳玲,张道强

(南京航空航天大学 1.艺术学院;2.计算机科学与技术学院,江苏 南京 211106)

声乐表演是演唱者个人情绪的一种展现方式,以歌声作为载体,将演唱者的情绪传递给听众。可以说,声乐表演是情绪与技巧的结合,只有将情绪融入声乐演唱中,才能体现出作品的生命力,使其更加深入人心[1]。

传统的声乐教学方式更注重传授技巧,对情绪少有关注,而演唱者的情绪在表演过程中起着非常重要的作用。情绪一般产生于个体面对刺激时的反应,目前已经开发了不同的刺激策略来引发特定的情绪反应。情绪的诱发方式基本上可以分为主动和被动2大类:主动即个体被要求做出可能引发情绪的行为,如摆出微笑表情、和他人沟通交流等;被动则通过个人观看特定图片、电影等实现[2]。相比于主动情绪诱发,在声乐表演之前,被动的情绪诱发方式更适合演唱者。传统的被动情绪诱发方法在情绪的真实体验方面存在局限性,难以给演唱者带来沉浸感和舞台感的效果[3]。虚拟现实(Virtual reality,VR)技术在情绪诱发方面存在一定潜力,它可以通过场景设计给用户提供高度的沉浸感,在现实中的局限空间里营造出真实世界的感觉[4]。已有一些研究将VR技术应用于诱发情绪[5,6],因此,本文将VR技术作为表演者诱发情绪的工具,探索其应用于声乐表演领域的可能性。为了分析VR诱发对表演者情绪的影响,本文在表演者的情绪状态变化以及表演效果2方面,与传统教学模式下的情绪诱发方式(表演者情绪自我想象)进行了对比。

本文主要创新点在于将VR技术作为诱发情绪的工具加入声乐表演的准备过程中,并分析其对于表演者情绪状态和表演效果的影响。通过主观、客观2个角度,对2种情绪诱发方式对积极、消极、中性3种不同情绪的诱发效果进行对比研究。主观度量采用自我情绪评定量表(Self-assessment manikin,SAM)[7],可以从愉悦度、唤醒度和控制度3个方面评估个体感受到的情绪[8]。由于脑电信号不受主观报告的影响,可以作为客观评价标准,因此对情绪诱发下的脑电信号进行分析,作为客观度量方式。在对2种方式下表演者演唱效果的分析方面,采用专业声乐教师对表演的打分情况进行对比分析。

1 试验方法

试验流程如图1所示。以3种不同情绪类型的歌曲作为情绪刺激材料,收集传统声乐教学模式下表演者自我想象情况和本文提出的沉浸式VR诱发下的主客观数据,对其进行统计对比分析。

图1 试验流程图

1.1 对象及刺激材料

16名被试参与了歌唱情绪诱发试验,平均年龄19.5±1.54岁,男女比例1∶1,所有试验被试均来自南京航空航天大学艺术学院。参与者均为右利手,听力正常,视力正常或矫正至正常,没有神经或精神健康问题,采集数据前一天保证良好睡眠。试验开始前向参与者介绍所有相关试验流程并签署试验知情同意书。采集的所有数据都进行匿名分析和研究。

为尽可能地接近现实声乐表演情景,本试验涵盖了3种不同情绪(正性、负性、中性)的歌曲。选用表达3种情绪的18首歌曲(每种情绪6首),并将歌曲剪辑至3 min左右长度的核心音乐片段。由20名非试验参与者根据在歌曲下感受到的情绪对该歌曲在愉悦维度上按1～9分打分,1分表示非常悲伤,9分表示非常愉悦。表达正性情绪的6首歌曲中,保留最接近9分的2首歌曲。中性和负性分别将评分最接近5分和1分的2首歌曲作为该情绪的刺激材料。选用歌曲如表1所示。

表1 试验刺激材料表

1.2 试验流程

为了研究VR和传统自我想象2种方式的情绪诱发效果,本研究设计并进行了情绪诱发试验。试验分为2组:第1组为自我想象诱发组,仿照常规教学模式,被试听歌曲伴奏和讲解并进行自我想象情绪诱发;第2组为VR诱发组,被试佩戴VR眼镜观看与歌曲匹配的虚拟场景视频,歌曲伴奏作为视频背景音乐。2组均完成6首歌曲的试验,每种情绪2首歌曲。对于每一首歌曲,第1组试验中表演者听歌曲伴奏和讲解,进行3 min自我想象;第2组试验中参与者佩戴VR眼镜听歌曲伴奏并感受虚拟场景3 min。随后2组试验步骤相同,均先清唱歌曲1 min,然后休息3 min,接着以相同步骤完成同一情绪的第2首歌曲。在每种情绪的2首歌曲结束后,完成自我情绪评定量表,休息后开始试验下一种情绪。情绪刺激试验按照负性、中性、正性顺序进行。为避免VR眼镜的频繁佩戴对脑电信号的干扰,参与者先完成自我想象组试验的全部歌曲,再进行VR组试验,2组试验中间休息30 min。试验在封闭、不受干扰的隔音室中进行。要求参与者在睁眼状态下完成试验,并避免不必要的肢体动作,试验范式如图2所示。

图2 试验范式图

2 数据采集与处理

本文使用NeuSen W系列64通道无线脑电采集系统(博睿康,中国)采集脑电信号。根据国际标准10-20系统,记录的59个电极分别为FP1/2、FPz、AF3/4、AF7/8、F1/2、F3/4、F5/6、F7/8、Fz、FC1/2、FC3/4、FC5/6、FCz、FT7/8、C1/2、C3/4、C5/6、Cz、CP1/2、CP3/4、CP5/6、T7/8、TP7/8、P3/4、P5/6、P7/8、Pz、PO3/4、PO5/6、PO7/8、POz、O1/2、Oz,并以CPz为参考电极,AFz为接地电极。采样率设置为1 000 Hz。试验期间,电极阻抗均保持在5 kΩ以下。

脑电信号的预处理在EEGLAB[9]工具箱中完成。进行通道定位后,对原始脑电数据做1～45 Hz的带通滤波。然后进行全脑平均重参考,并降采样至250 Hz。为去除伪迹影响,使用独立成分分析(Independent component analysis,ICA)方法,将数据分解为独立成分,使用ICLabel[10]插件剔除眼动、肌肉运动等伪迹成分。然后将每首歌曲最后150 s的脑电信号划分成150个长度为1 s的样本,用来获得最大的情绪反应。

频段功率是基于脑电信号的情绪识别中最流行的频域特征之一[11],将时域脑电信号转化为信号功率与频率间的对应关系,以观察各频率下的能量分布。本文将脑电信号按频率划分为5种节律,分别为δ(0.1～4 Hz)、θ(4～8 Hz)、α(8～13 Hz)、β(13～30 Hz)和γ(30～45 Hz),并使用Welch方法计算预处理后的脑电信号在5种节律上的平均功率。

3 试验结果

3.1 脑电图

本文使用配对t检验比较想象组与VR组之间δ、θ、α、β、γ节律平均功率之间的差异。为了更方便地对比结果,如图3所示,本文将59个通道划分为5个主要区域:额区(FP1/2、FPz、AF3/4、AF7/8、F1/2、F3/4、F5/6、F7/8、Fz、FC1/2、FC3/4、FC5/6、FCz、FT7/8)、中央(C1/2、C3/4、C5/6、Cz、CP1/2、CP3/4、CP5/6)、颞区(T7/8、TP7/8)、顶区(P3/4、P5/6、P7/8、Pz、PO3/4、PO5/6、PO7/8、POz)、枕区(O1/2、Oz)。如图4所示,橙色表示VR组平均功率大于想象组且差异具有显著性(p<0.05)的通道,蓝色表示想象组平均功率大于VR组且差异具有显著性(p<0.05)的通道。

图3 电极分区图

图4 配对t检验比较结果图

(1)如图4(a)所示,对于正性情绪,在δ节律中,除FP2、FPz、F4、FC3和FC4外,2组的平均功率在额区所有通道上的差异均有显著性,VR组高于想象组;在颞叶4个通道(T7/8、TP7/8)以及中央叶的大部分通道中,2组的平均功率差异都具有显著性,VR组高于想象组;除P7、PO7外,顶叶和枕叶所有通道上的差异都没有显著性。因此可以得出,2组间有统计学差异的通道分布在额叶、颞叶和中央叶上,并且均为VR组平均功率高,激活更强。

(2)如图4(b)所示,对于正性情绪,在θ节律中,额叶大部分通道上的功率都有显著性差异;中央叶的C3、C5、C6、CP3以及颞叶的4个通道均有显著性差异,VR组高于想象组;除P5外顶叶和枕叶的所有通道差异无显著性。因此可以得出,有统计学差异的通道分布在额叶、颞叶和中央叶上,VR组平均功率更高。

(3)如图4(c)所示,对于正性情绪,在α节律中,额叶AF7/8、F7/8、FC5、FT7/8通道的差异具有显著性,VR组高于想象组,而F1、FC1/2、FCz相反,想象组平均功率高于VR组;在中央叶通道C1/2、C4、CP2、CP4以及除P7、PO7外顶叶所有通道上的功率差异都有显著性,想象组高于VR组;除T8外颞叶和枕叶的所有通道上的功率无显著性差异。因此可以得出,有统计学差异的通道主要分布在顶叶,其次分布在额叶和中央叶,其中额叶部分通道上VR组功率更高,其余通道均为想象组高于VR组。

(4)如图4(d)所示,对于正性情绪,在γ节律中,中央叶除C5/6、CP5/6外,所有通道的功率差异都有显著性,VR组高于想象组。存在统计学差异的通道主要分布在中央叶,其次分布在额叶,表现为VR组平均功率更高。

(5)如图4(e)所示,对于中性情绪,在δ节律中,具有显著性差异的通道主要分布在额叶和颞叶,少量出现在中央叶,并且主要出现在大脑边缘部分,均为VR组高于想象组。

(6)如图4(f)所示,对于中性情绪,θ节律的分布情况类似于δ节律。

(7)如图4(g)所示,对于中性情绪,在α节律中,额叶边缘表现出VR组大于想象组的显著性差异,但在顶叶通道Pz、PO3/4、PO6则相反,想象组平均功率更高,激活更强。

(8)如图4(h)所示,对于负性情绪,在δ节律中,有统计学差异的通道基本分布在额叶和颞叶,少量出现在中央叶,并且主要出现在皮层边缘部分,均为VR组高于想象组。

(9)如图4(i)所示,对于负性情绪,θ节律的分布情况类似于δ节律。

(10)如图4(j)所示,对于负性情绪,在α节律中,额叶边缘表现出VR组大于想象组的显著性差异,但在顶叶通道PO3/4、PO5/6、P4以及额叶通道Fz、FCz和FC1则相反,想象组的平均功率更高。

以上试验结果表明,3种情绪下额叶表现出最多的统计差异,且分布靠近大脑边缘。δ和θ节律统计差异的分布相似,正性情绪中δ节律出现差异的通道最多,而β节律在3种情绪下都只有少数通道存在统计差异,γ节律也只在正性情绪下出现较多的差异通道,基本分布在中央区。上述结果均为VR组功率更高,激活更强。而α节律在中性与负性情绪下主要分布在顶枕区和额中央,在正性情绪下主要分布在顶叶、顶枕叶、顶中央和中央叶,且在这些区域中均为想象组功率更高,激活更强。

3.2 SAM量表

SAM量表是一种自我情绪状态评估工具,可以识别给定情绪刺激与参与者所感受到情绪间的关系。SAM量表包括愉悦度、唤醒度、控制度3个维度,每个维度由描绘不同程度表情的5个小人图组成,并采用9点评分制。参与者根据自身的情绪状态,在各维度中选出与自身情绪最相符的图片。试验中所使用的SAM量表如图5所示。

图5 SAM量表

本文对参与者在2组试验下完成的SAM自评量表进行统计分析,使用配对t检验比较想象组与VR组在3个维度上的差异,结果见表2。对于负性情绪,2组在愉悦、唤醒和控制维度上的差异都有统计意义(p<0.01);中性情绪则相反,3个维度下差异均不具有显著性;正性情绪在愉悦和唤醒维度上的差异有统计意义(p<0.01)。想象组在正性和负性情绪上的唤醒度低于VR组,差异具有显著性(p<0.01);VR组在负性情绪下的愉悦度低于想象组,在正性情绪下高于想象组,差异具有显著性(p<0.01)。相比于想象组,VR组的情绪激活程度更强,更能调动参与者情绪。在控制维度上,仅负性情绪表现出显著性差异,且想象组更强,可能是由于VR组调动的负性情绪更强烈,参与者控制感不足。

表2 自评量表得分情况(均值±方差)及显著性水平表

3.3 声乐他评量表

他评量表是由5名专家对参与者清唱阶段的表演录音进行10分制打分。歌唱表演者将演唱录音进行随机播放,由专家对其进行打分。评分表由7个维度组成,分别是歌曲演唱连贯性、气息运用、共鸣运用、音准节奏、语言咬字、乐感和情感表达。对于每个评分维度,对每个参与者在不同情绪下的5个得分取平均值,再对2组试验下16名参与者的平均得分做统计分析,结果见表3。2组试验在3种情绪下除音准节奏和语言咬字外,其余5个维度上的差异均有统计意义(p<0.01),且均为VR组高于想象组。演唱连贯性可能是由于想象组和VR组的顺序原因,导致VR组试验时演唱更连贯。VR组在表演的气息、共鸣、乐感方面均有显著提高,情感表达也更加丰富,由此可见VR诱发对于声乐表演情绪调动的积极作用。

表3 声乐他评量表及显著性水平

4 试验结果分析

根据自评结果,表演者在VR诱发下感受到的正、负性情绪刺激更强。脑电信号作为客观证据,考虑了在相同伴奏下2组试验分别记录的59个通道在5个节律上的平均频带功率。研究表明,在听音乐的过程中个体脑电会显示出双侧额颞叶被广泛激活的激活模式[12]。只分析具有统计差异通道的分布情况,发现试验结果中双侧额颞区VR组的脑电信号在低频节律的平均功率表现出高于想象组的差异显著性,特别是正性情绪下的δ和θ频段,说明VR组的激活程度更强。同时,2组试验间功率的统计差异主要分布在皮层前部区域,前部区域被证明主要与情绪的效价/愉悦维度相关[13]。试验结果中额叶出现最多的差异通道,分析前额叶活动可以区分情绪强度,与额叶与积极/消极情绪反应有关[14,15]相一致,结果表明VR诱导积极/消极情绪的激活程度强于想象组。

本研究中α频带功率的统计差异主要分布在顶叶和顶枕区,想象组大于VR组,在正性情绪下差异最显著,在中央区域部分通道以及除P7和PO7通道外的所有顶叶和顶枕区通道均有统计差异。α功率被证明是比较不同情绪状态的有效指标,与精神活动呈负相关[16,17]。同时文献[18]的研究表明α功率可以作为皮层唤醒级别的有效指标,唤醒与顶枕部α功率呈负相关[19]。虽然在顶区、顶枕区的结果表现出VR组对情绪的唤醒水平显著高于想象组,但这可能部分由于VR刺激阶段包括除情绪外的其他复杂过程,需要进一步研究。

2组试验不同刺激后的演唱情况由专家通过声乐他评量表从多个角度评价,结果表明,情感表达维度上的得分表现出VR组高于想象组的统计差异,并且VR组中表演者在表演的气息、乐感、共鸣方面也有显著的提高。

5 结束语

本文探索了将VR技术应用在声乐表演方面的可能性。基于表演者自我想象和VR诱发2种方式,采集3种不同情绪歌曲下的情绪脑电信号、自我情绪评定量表及演唱音频,从主、客观2个角度研究表演者情绪刺激差异,并通过他评方式分析表演者在接收不同刺激后的演唱阶段表达出的演唱情感和演唱技巧方面的异同。本文结果表明,VR技术作为声乐表演中的情绪诱发工具可以更好地调动表演者的情绪,同时表演者的表演效果也会有所加强。