王金海 贾亚茹,2 陈小刚 王 瑶 李 坤,2 孟 佳,2

1(天津工业大学电子与信息工程学院，天津 300387)2(中国医学科学院北京协和医学院生物医学工程研究所，天津 300192)

引言

脑-机接口(brain-computer interface, BCI)是一种能够让使用者通过大脑活动来控制计算机与外部设备的装置，它不依赖于周边神经和任何肌肉活动，适用于严重神经系统疾病或损伤而无法自由移动或控制其身体特定部位的患者。近几年来，基于稳态视觉诱发电位(steady-state visual evoked potentials, SSVEP)的BCI技术发展迅速，然而许多患有闭锁综合征的患者视力也受到很大程度的影响。因此，对于这类患者来说，基于听觉诱发电位的BCI系统是一个比较有前景的选择。

听觉稳态响应(auditory steady state response, ASSR)是由周期性的持续声音诱发的稳态脑电响应[1]，具有与刺激频率相同的基频和谐波成分，已被用于听力检测和脑-机接口的研究。虽然可以诱发ASSR的刺激频率范围可达1～200 Hz，但是在成人研究中ASSR在40 Hz附近响应最强[1-2]。

ASSR可以通过各种周期性重复的声音来诱发，如短纯音(tone bursts)[3]、短声(click)[4-8]、正弦调幅音(sinusoidal amplitude modulation, SAM)[9-10]、白噪声(white noise)[7-8]、颤振调幅音(flutter-amplitude modulated tones, FAM)[5]和音乐般的刺激[11-12]。目前，click声、SAM声和白噪声是3种常见的诱发ASSR的刺激声。click声已被证明能够产生最强且稳定的ASSR响应[7,13]，并广泛应用于临床研究，特别是被用于测试精神病患者的局部皮层网络产生gamma频率活动的能力[5,14]。SAM声也是临床ASSR应用最常选择的刺激声。听力评估通常是在受试者睡觉时进行[2,15]，所以可能无需注意力相关响应调制。换言之，即使受试者无意识时，SAM声依旧能诱发较强的ASSR。而基于ASSR的BCI系统需要受试者能够选择性地注意目标和非目标刺激，SAM声是否适合构建基于ASSR的BCI系统仍需进一步研究。白噪声也可以诱发ASSR，它是一种功率谱密度为常数的随机信号或随机过程，声音比较稳定、平和。虽然这3种常见的刺激声均可用于诱发ASSR，但鲜有研究比较这3种刺激声诱发的ASSR响应。

本研究利用典型相关分析，通过计算3种常见的诱发ASSR的刺激声的分类正确率和信息传输率，以期为基于ASSR的BCI系统寻求合适的刺激声，为BCI的后续研究打下基础。基于ASSR的BCI系统主要是根据听觉响应，不受限于视觉，有望为视觉障碍患者提供一种新的与外界交流通道。为此，实验过程中要求受试者清醒闭眼，根据听觉提示声将注意力集中于相应的刺激声。

1 实验方法

1.1 受试者

共有14名健康受试者参与了实验，其中男性8名、女性6名，年龄在22～30岁之间。受试者均无可能影响实验结果的神经性疾病，认知功能正常，听力正常，均为右利手。所有受试者自愿参加实验，在实验过程中处于清醒状态。实验之前，所有受试者均签署书面知情同意书并获得一定报酬。

1.2 刺激声

本研究采用3种不同的刺激声(click、SAM和white noise)诱发ASSR。第一种click声由相同的矩形脉冲响应组成，如图1(a)所示，离散矩形脉冲幅值是-1～1。在本研究中，click频率定义为调制频率(左耳38 Hz，右耳42 Hz)，以便与其余ASSR刺激类型进行比较，有

S1(t)=square(2πft,D)

(1)

式中，t为时间，f为频率，D表示占空比。

第二种SAM声与先前研究类似[5]，示例波形如图1(b)所示，有

S2(t)=sin(2πfct)sin(πfmt)

(2)

式中，t为时间，fc为载波频率，fm为包络调制频率。

最后一个white noise声是一种功率谱密度在整个频域内均匀分布的噪声，所有频率处能量密度相同，有

S3(t)=sin(2πft)+rand(1,length(t))

(3)

式中，t为时间，f与SAM包络调制频率fm一致，与click声频率相同，方便与click声和SAM声进行比较。white noise声波形如图1(c)所示。

由于在成人研究中ASSR在40 Hz附近响应最大[1-2]，因此本研究选用40 Hz附近的两种频率，38和42 Hz，分别作为左、右耳刺激频率。不同的刺激频率会引起不同频率的ASSR，这可以在记录的EEG频谱中观察到。SAM声左右耳的载波频率分别是左耳1 000 Hz、右耳2 500 Hz，由于载波频率不同，可以帮助受试者区分左右刺激并且集中注意在目标刺激上[9]。SAM声左、右耳的正弦脉冲宽度分别为26.3和23.8 ms。本实验所使用的3种刺激声均由Matlab合成，采样率为44 100 Hz。各刺激声的持续时间为20 s，听觉刺激的呈现是通过基于Matlab的Psychtoolbox工具包来实现的[16]。

图1 刺激声波形(上为38 Hz，下为42 Hz)。 (a)click声；(b)SAM声；(c)白噪声Fig.1 Waveform of the auditory stimuli (38 Hz on the top and 42 Hz on the bottom). (a)Click stimulation;(b)SAM stimulation;(c) White noise stimulation

1.3 实验范式

图2 刺激声播放序列Fig.2 Time-series stimulus signals

受试者舒适地静坐在屏蔽室的椅子上，并戴上Etymotic公司的ER-3C型气导插入式耳机。刺激声通过RME Fireface 802声卡从电脑输出，左耳刺激声的调制频率为38 Hz，右耳刺激声的调制频率为42 Hz，刺激播放序列如图2所示。在刺激声播放前会播放2 s的提示声，以提示受试者接下来刺激声会出现在左耳或右耳(左右耳刺激的顺序是随机的)；紧接着播放20 s的刺激声，之后为2 s的休息时间，随后开始下一个trial。在实验过程中，受试者保持清醒闭眼状态。

实验包含3种刺激声(click、SAM、white noise)，每种刺激声有2个block，且每个block包含20个trials，分别对应于左右耳各10个trials。3种刺激声出现的顺序是随机的。

1.4 数据获取

脑电数据的采集采用Neuroscan公司的Synamps2放大器，采样率为1 000 Hz，并进行在线50 Hz陷波。记录64电极，电极分布符合国际10-20系统，接地电极位于左乳突，参考电极为右乳突，所有电极阻抗低于10 kΩ。

1.5 数据处理

根据刺激程序的事件触发信号，将EEG数据分割成多个事件相关的数据段，然后对分段EEG数据进行250 Hz降采样处理。本研究首先分析了ASSR的幅值谱，其是通过快速傅里叶变换(FFT)计算得来的[17]。利用数据长度为20 s的分段数据，计算ASSR的幅值谱。对于每种实验条件，首先进行时域平均，以提高ASSR的信噪比。

典型相关分析(canonical correlation analysis, CCA)已广泛应用于检测稳态视觉诱发电位(steady-state visual evoked potential, SSVEP)[18-21]。由于ASSR具有与SSVEP相类似的频率特性，本研究尝试利用CCA方法检测ASSR。CCA是一种度量两组信号之间线性相关性的多变量统计方法。假定两组信号X和Y，CCA的核心是通过求解式(4)的优化问题，找到两个线性组合WX和WY，使得式(5)和式(6)之间的相关系数最大，即

(4)

x=XTWX

(5)

y=YTWY

(6)

式中：ρ为相关系数，最大的ρ值对应于x和y之间具有最大的相关性；X为多导EEG信号；Y为与X具有相同数据长度的正余弦参考信号。

正余弦参考信号Yf被设置为

(7)

式中，f为刺激频率，Nh为谐波次数，fs为采样率。

在本研究中，fk(k=1,2)为第k个刺激频率。为了检测ASSR的频率成分，CCA计算了多导EEG信号与各刺激频率对应的正余弦参考信号的典型相关系数，具有最大典型相关系数的正余弦参考信号的频率被认为是ASSR的频率。

1.6 性能评估

图3 各实验条件下ASSR的幅值谱(上为38 Hz，下为42 Hz，圆圈表示刺激频率的基频和谐波成分)。 (a)Click声；(b)SAM声；(c)白噪声Fig.3 Amplitude spectrum of ASSR for each condition (38 Hz on the top, 42 Hz on the bottom and the circles indicate the fundamental and harmonic frequencies of the stimulation frequencies). (a)click stimulation;(b)SAM stimulation;(c) White noise stimulation

分类正确率和信息传输率(information transfer rate, ITR)被用于评估各刺激声的左右耳刺激分类。在本研究中，ITR通过下式计算得出，有

(8)

式中：N为目标数量，在本研究中为2；p为分类正确率；T为发送每个命令所需时间，包括注意时间和注意切换时间。在本研究中，注意切换时间为0.5 s。

1.7 统计分析

本研究利用SPSS进行统计分析。在进行重复测量方差分析时，对不符合Mauchly球形检验的数据采用Greenhouse-Geisser法矫正P值，并用Bonferroni多重比较检验统计分析，以P<0.05为显著性标准。

2 实验结果

图3显示了不同刺激声、不同调制频率下FCz电极处ASSR幅值谱。可以看出，ASSR幅值谱在调制频率的基频和谐波处有明显的峰值，并且基频成分表现出最高的幅值，谐波的幅值随着响应频率的增加而显著下降。

图4显示了不同刺激声、不同调制频率下ASSR幅值的地形图。可以看出，ASSR响应最大的区域主要集中在额中央区。因此，后续的分析都是基于平均额中央区4个电极(FC1、FCz、FC2、Cz)的ASSR信号。

图4 各实验条件下ASSR幅值的地形图(上为38 Hz，下为42 Hz)。 (a)click声；(b)SAM声；(c)白噪声Fig.4 Topographies of ASSR amplitudes for each condition (38 Hz on the top and 42 Hz on the bottom). (a)Click stimulation;(b)SAM stimulation;(c) White noise stimulation

图5 各实验条件下ASSR的平均幅值(误差棒为标准误差)Fig.5 Averaged ASSR amplitudes of each condition(The error bars indicate standard errors)

图5显示了不同刺激声、不同调制频率下ASSR的平均幅值。click声诱发的ASSR幅值最高，而SAM声诱发的ASSR幅值最低。对ASSR幅值进行2(刺激频率为38、42 Hz)×3(刺激声为click、SAM、white noise)两因素重复测量方差分析：刺激声的主效应差异显著(F(2,26)=32.09,P<0.001)，表明不同刺激声所诱发的ASSR的幅值有显著差异；刺激频率的主效应差异不显著(F(1,13)=0.84,P>0.05)，刺激声和刺激频率的交互作用不显著(F(2,26)=0.10,P>0.05)。多重比较结果显示，click声诱发的ASSR幅值显著高于SAM声和white noise诱发的ASSR幅值(P<0.001)。

图6 各刺激声在不同数据长度下的分类正确率和信息传输率。(a)分类准确率；(b)信息传输率Fig.6 Classification accuracy and ITR for each stimulation sounds using different data lengths. (a)Classification accuracy；(b)ITR

本研究还利用CCA方法对不同刺激声下的两种调制频率进行分类，图6显示了不同数据长度(2.5～20 s，间隔0.5 s)下CCA方法的分类正确率和信息传输率。随着数据长度的增加，分类正确率不断增加，直至达到一个稳定的水平。click声的分类性能最高，white noise声的分类性能次之，SAM声的分类性能最低。各刺激声的信息传输率达到峰值所对应的数据长度不同(click：4 s，SAM：12.5 s，white noise：10 s)，各刺激声对应的最高信息传输率也不同(click：6.69 bit/min，SAM：0.76 bit/min，white noise：1.65 bit/min)。这些结果表明，click声获得最高的分类性能，提示它更适合于开发高速的BCI系统。对于各数据长度，对刺激声(click、SAM、white noise)单因素3个水平下的分类正确率和信息传输率进行重复测量方差分析。方差分析结果表明：刺激声之间的分类正确率存在显著差异(P<0.001)，刺激声之间的信息传输率也有显著差异(P<0.001)。

3 讨论

本研究基于14名健康受试者的脑电数据，对3种刺激声的性能和特点进行了比较，研究了刺激声对ASSR响应的影响。实验结果表明，3种刺激声均可诱发出ASSR，先前已有研究分别验证了这3种刺激声可以诱发ASSR[4-10]，本研究的结果与其一致。本研究还发现，这3种刺激声诱发的ASSR响应最大区域主要集中在额中央区，与Herdman等的调幅声刺激ASSR[22]以及Voicikas等研究中颤振调幅音(FAM)和click声诱发ASSR的脑电地形图[5]基本一致。从ASSR响应的地形图和幅值可以看出，click声诱发的ASSR响应最强，白噪声次之，SAM声诱发的ASSR响应最弱，这进一步验证了click声能够诱发出较强的ASSR。另外，本研究还利用CCA方法，分别对3种刺激声的左右耳调制频率进行二分类。研究发现：click声的分类性能最高，white noise声的分类性能次之，SAM声的分类性能最低；click声的最高信息传输率可达6.69 bit/min。上述结果表明，click声更适合于构建高速的BCI系统。

本研究所使用的范式具有几个适用于实际BCI系统的优点：首先，实验之前不需要对受试者进行训练；其次，由于范式简单直观，受试者可以很容易地理解目标任务，只要将注意力集中在左或右声源上；再次，在整个实验过程中没有使用任何视觉信息，这点最重要，因为听觉BCI系统的主要目标是患有晚期肌萎缩侧索硬化(amyotrophic lateral sclerosis, ALS)的患者，这类患者难以控制眼球运动。

但是，在本研究中，左右耳并非同时给音，与实际应用的BCI系统仍存在一定的差距。下一步的研究将考虑左右耳同时给音，要求受试者选择性注意特定刺激。本研究的结果为离线数据分析结果，接下来的研究将考虑利用click声构建基于ASSR的在线BCI系统，以进一步验证系统的可行性。虽然视觉和运动障碍患者是基于ASSR的BCI系统应用的主要用户，但目前少有研究利用患者验证BCI系统的可行性，下一步的研究将尝试利用患者对基于ASSR的BCI系统进行测试。另外，在本次实验中，受试者普遍反映实验所用的刺激声单调枯燥，基于这一点，今后将在不影响刺激声分类性能的基础上，进一步寻找使刺激声更为舒适的方法，尝试寻找带有背景音乐的刺激声。

4 结论

本研究比较了click、SAM和white noise 3种刺激声所诱发的ASSR。结果表明，这3种刺激声均能诱发出稳定的ASSR，并且click声诱发出的ASSR响应最强。基于CCA方法的二分类结果也显示，click声获得最高的分类性能(click：6.69 bit/min，SAM：0.76 bit/min，white noise：1.65 bit/min)。这些结果表明，click声适合于开发高速的BCI系统。