张少白，王 勇，刘友谊

(1.南京邮电大学 计算机学院，江苏 南京 210046；2.北京师范大学 认知神经科学与学习国家重点实验室，北京 100875)

基于DIVA模型的脑电信号处理方法研究

张少白1，王 勇1，刘友谊2

(1.南京邮电大学 计算机学院，江苏 南京 210046；2.北京师范大学 认知神经科学与学习国家重点实验室，北京 100875)

DIVA(Directions Into of Articulators)模型是一种为了生成单词、音节或者音素而控制模拟声道运动的自适应神经网络模型，其依赖的输入信号是从人体大脑中采集到的脑电信号。针对汉语神经分析系统研究中非侵入式脑机接口采集到的脑电数据存在的分辨率低、干扰大的问题，文中提出一种基于DIVA模型对脑电信号进行约束处理的方法。首先利用独立分量分析方法剔除原始信号中的噪声，提取有效事件相关电位(Event-Related Potentials,ERP)成分；然后以模拟生成的功能性磁共振成像(functional Magnetic Resonance Imaging，fMRI)数据的激活点的空间信息作为限制条件，对提取出的ERP成分进行精确定位。通过对实验数据进行分析处理并模拟受试者的激活脑区，验证了所提方法的正确性和有效性。

DIVA模型；脑电信号；核磁共振成像；独立分量分析

0 引 言

脑机接口(Brain Computer Interface,BCI)能够通过人脑控制计算机或其他电子设备的动作，而无需语言或肢体动作的帮助。它是一个不依靠外周神经和肌肉组织等通常的大脑输出通道的通信系统。也就是说，BCI建立了一条人脑与计算机之间的控制通道。

以脑机接口为技术基础，波士顿大学的弗朗克·冈瑟(Frank Guenther)教授带领的科研小组成功研制出一种神经分析系统(Neuralynx System)。该系统可以将人大脑里的思维过程“阅读”出来，然后将其转换为正常语言进行实时表述[1],实时语音生成合成系统脑机接口原理如图1所示。

该系统使用侵入式脑机接口采集脑电信号。此类脑机接口所获取的神经信号的质量比较高。但是侵入式脑机接口需专业医生进行手术把电极内置于人的大脑内,检测脑皮层电图(Electrocorticogram,EEG)等信号有一定的危险性,并且容易引发免疫反应和愈伤组织，进而导致信号质量的衰退甚至消失[2]。

图1 实时语音生成合成系统脑机接口原理图

在汉语神经分析系统(Chinese Neuralynx System,CNS)的研究过程中，采用非侵入式的神经成像术作为脑机接口在人身上进行了实验。虽然这种非侵入式的装置方便佩戴于人体，但是由于颅骨对信号的衰减作用和对神经元发出的电磁波的分散和模糊效应，记录到信号的分辨率并不高[2-4]。这种信号波仍可被检测到，但信号信噪比较低，对后处理的要求较高。

针对上述问题，文中提出一种使用功能性磁共振成像(functional Magnetic Resonance Imaging,fMRI)数据对脑电信号进行融合处理的方法。该方法通过DIVA模型模拟生成的fMRI数据对脑电信号进行定位分析，并使用独立成分分析方法(Independent Component Analysis,ICA)简化实际计算的复杂度，克服了非侵入式脑电信号分辨率低、干扰大的缺点。

1 汉语神经分析系统

如图2所示，汉语神经分析系统由两部分组成：脑机接口和语音合成系统(Directions Into Velocities of Articulators，DIVA)模型。BCI中，通过使用者佩戴的无线神经电极获取实验需要的脑电信号，这些信号将被用于驱动DIVA模型语音合成器的连续“运动”，进而获取相应的语音输出。而由前馈控制子系统、反馈控制子系统以及前田(Maeda)模拟声道三个主要部分(见图3)组成的DIVA模型[1],则是一种具有生物学意义的关于语音生成和获取的神经网络。该模型通过

图2 汉语神经分析系统结构图

某种规则在以语音为输入的同时，产生一个发音速度以及器官位置变化的时变序列，应用这个序列，系统就可以得到所需要的理想发音。

图3 DIVA模型结构图

DIVA模型的重要特征之一就是其中的模型组件会对应到人体大脑皮层的某个相关区域，这种映射关系是在有关神经解剖学和神经生理学研究的基础上根据MNI(Montreal Neurological Institute)标准参照系而确定的。在按照预设参数进行发音任务时，DIVA模型能够产生反应脑区激活状态的fMRI数据。通过这样的方式，DIVA模型实际上就构成了一个用以解释来自各种研究的相关数据以及对关于语音神经处理过程进行一致性描述的基本框架[5]。文中将使用由DIVA模型生成的fMRI数据对脑电信号进行定位处理。

2 EEG/fMRI融合分析技术

EEG/fMRI融合问题是在fMRI约束下的EEG逆向求解问题，也就是将fMRI的结果作为EEG逆向问题的限制条件。其科学依据在于：通过fMRI可以检测到局部血液变化，而这种变化是由产生EEG观测信号的神经元活动增加了葡萄糖和氧的需求量所引起的[6-7]。

2.1 球脑模型

采用EEG/fMRI融合分析技术对脑电信号进行分析处理，首先选取大脑模型。选取的大脑模型将会直接影响到脑电信号计算时激活源的空间分布。大脑模型涉及人脑的生理学特性与电磁特性。这些特性可以用导联场矩阵进行表示。为了简化计算复杂度，大脑模型的构建应尽量简单。这样做也可以减小脑部计算电压和实际值之间的误差。

实验以理想4层头部模型作为数据处理的基础。该模型将人脑分成4部分：脑、脑脊液、颅骨和头皮。在简化计算复杂度的前提下，对真实大脑进行近似处理。

2.2 EEG正向问题

假设脑电信号与源信号呈线性关系，如式(1)：

X=AS+N

(1)

其中，X为神经电极记录的矢量；A为导联场矩阵，它是偶极子位置、大脑几何形状与介质传导系数的非线性函数；S为偶极子矢量；N为每个电极采集到信号中的噪声矢量[8]。

导联场矩阵A由实验中采用的4层球模型决定，其中每一列代表信号源对实际记录矢量X的影响。

2.3 EEG逆向问题

EEG逆向问题是在已知球脑模型与传导系数的前提下，求解最优偶极子的大小、位置、方向，使得到的偶极子所产生的电场分布与测量值均方值最小。此问题等价于求解式(2)的最优解[9-10]：

(2)

其中，C为信噪比的归一矩阵；λ为正则化参数。

上述方程可以与解的空间结合起来，由此可将目标函数定义为：

(3)

其中，P为解空间中fMRI限定源的位置，由式(4)定义：

(4)

其中，l为偶极子的数量；ri为第i个偶极子的位置向量；si为fMRI限定源的空间信息；c,di为常数，实验中di=5 mm。

偶极子的位置与fMRI限定源位置是相关的，fMRI限定源的位置可作为确定偶极子的参考点。fMRI受限的等效偶极子模型[11](简称FC-ECD模型)应用最大距离限制拟合偶极子的位置以及偶极矩。FC-ECD假设：检测到的脑电信号可由多个偶极子产生，一定区域的激活状态可由单个偶极子的状态来表示[12]。

实验的关键是求解上述目标函数的全局最优解。在求解过程中，需要对每一个可能的解进行迭代和对比，计算量巨大。因此，文中考虑使用独立成分分析法(ICA)对解空间进行简化，以减少实际计算量。

2.4 ICA在EEG数据处理中的应用

实际采集到的EEG信号由若干相互独立的源信号叠加而成。可以采用ICA对无关信号进行剥离。文中以记录的电压xi,i=1,2,…,m作为观测向量，其中m表示神经电极数量。信号矢量xi是n个时间上独立信号源sj,j=1,2,…,n的线性组合。sj的权重为aj，aj是导联场矩阵A的第j列。使用估算信号Y对观测信号X进行重建，重建过程如下[13]：

X=W-1Y

(5)

其中，W为最优变换矩阵。

X的第j个时间序列由式(6)表示:

(6)

ICA方法可以将脑电信号的有效成分从观测信号中分离出来，每个有效成分对应一个偶极子，从而简化了目标函数的求解空间，降低了计算复杂度[14-15]。

3 实 验

3.1 EEG数据采集及预处理

此次用于实验的EEG数据由北京师范大学认知科学与学习国家重点实验室采集得到。采用EGI公司的128导联脑电设备作为实验设备。实验对象则为1名身体健康母语为汉语并具有一定脑电信号采集经验的男性。实验采用脑电扫描仪和具有128个电极的扫描帽来记录脑电信号，所有电极的阻抗都低于5 000 Ω，信号的采样频率为500 Hz。在进行脑电信号采集时，被试者意识清晰，坐在普通的椅子上，完成80次汉语拼音J和80次英语字母J共计160次的发音任务，单次发音的持续时间为600 ms，并在开始发音任务100 ms进行发音。实验在一天时间内完成。采集到的脑电波数据如图4所示。

图4 脑电波示意图

在Net Station上对采集到的EEG数据进行一定的预处理操作，具体包括低通滤波、坏电极复位、基线校正、去除眨眼伪迹及眼球运动伪迹，然后将数据文件转换为融合ICA工具箱(FIT)兼容的格式。

3.2 fMRI数据采集及预处理

基于DIVA模型提供的用户接口对声道参数进行设置，使模型分别进行汉语和英语模拟发音。然后将模拟产生的数据结果输入到统计绘图工具(SPM)中进行分析，采用12参数的仿射变换对数据进行归一化处理。再将图像与高分辨率的结构图像进行配准，并归一到MNI的空间。然后利用半高宽(FWHM)为12 mm*12 mm*24 mm的三维高斯函数对标准化后的数据做空间平滑处理。

3.3 数据融合分析

采用半径依次为78 mm、82 mm、85 mm及87 mm，其传导系数分别为0.459 S/m、1.41 S/m、0.005 8 S/m和0.461 S/m的4层球模型，对EEG信号进行融合处理正向问题的计算。

采用ICA算法对EEG数据进行有效独立成分的提取，之后采用FC-ECD方法在fMRI限定条件下与EEG信号进行融合分析。对提取的P300、P400成分进行脑部定位，其中P300是在相关事件发生后300 ms达到其峰值的事件相关电位，结果如图5所示。

图5 P300、P400脑电成分的定位

通过分析融合定位后的脑激活图可以发现，语音实验过程中受试者大脑的颞横回、缘上回及附近区域处于强烈激活状态[16]。而根据已有的语音相关感兴趣区域研究：在语音生成过程中，颞横回的主要任务是中心频率、声级编码；缘上回的主要任务是语音处理、语音感知和生成以及声源定位。它们在语音任务中都会处于激活状态[2]。可以得出，使用DIVA模型产生的fMRI数据进行约束处理，克服了原脑电数据分辨率低、干扰大的缺点，进而可对激活脑区进行精确定位。

4 结束语

针对汉语神经分析系统研究过程中出现的脑电信号空间分辨率低、信号干扰大、信噪比低的问题，文中提出一种基于DIVA模型的EEG信号处理方法。该方法使用DIVA模型产生的fMRI数据对EEG数据进行约束处理。运用ICA方法，减小了预处理阶段运算的复杂度，在很大程度上克服了等效偶极子定位算法对于噪声的敏感。最后，利用该方法对真实实验数据进行处理，得到的结论基本符合已知的生理学事实。该研究为汉语神经分析系统中的脑电信号处理问题提供了可行的解决方案，为今后汉语语音生成与获取的相关研究奠定了基础。

[1] Tourville J T,Guenther F H.The DIVA model:a neural theory of speech acquisition and production[J].Language and Cognitive Processes,2011,26(7):952-981.

[2] Brumberg J S,Nieto-Castanon A,Kennedy P R,et al.Brain-computer interfaces for speech communication[J].Speech Communication,2010,52(4):367-379.

[3] McFarland D J,Sarnacki W A,Townsend G,et al.The P300-based brain-computer interface (BCI):effects of stimulus rate[J].Clinical Neurophysiology,2011,122(4):731-737.

[4] Lotte F,Guan C.Regularizing common spatial patterns to improve BCI designs:unified theory and new algorithms[J].IEEE Transactions on Biomedical Engineering,2011,58(2):355-362.

[5] Golfinopoulos E,Tourville J A,Guenther F H.The integration of large-scale neural network modeling and functional brain imaging in speech motor control[J].Neuroimage,2010,52(3):862-874.

[6] Laufs H,Krakow K.Methodology of combined EEG and fMRI[J].Neuroimaging of Sleep and Sleep Disorders,2013,82(1):94-101.

[7] Nierhaus T, Gundlach C, Goltz D,et al.Internal ventilation system of MR scanners induces specific EEG artifact during simultaneous EEG-fMRI[J].NeuroImage,2013,74:70-76.

[8] Hess A,Stiller D,Kaulisch T,et al.New insights into the hemodynamic blood oxygenation level-dependent response through combination of functional magnetic resonance imaging and optical recording in gerbil barrel cortex[J].Journal of Neuroscience,2000,20(9):3328-3338.

[9] Baumeister S,Hohmann S,Wolf I,et al.Sequential inhibitory control processes assessed through simultaneous EEG-fMRI[J].NeuroImage,2014,94:349-359.

[10] Chaudhary U J,Rodionov R,Carmichael D W,et al.Improving the sensitivity of EEG-fMRI studies of epileptic activity by modelling eye blinks,swallowing and other video-EEG detected physiological confounds[J].NeuroImage,2012,61(4):1383-1393.

[11] Ogawa S,Lee T M,Stepnoski R,et al.An approach to probe some neural systems interaction by functional MRI at neural time scale down to milliseconds[J].Proc. of the National Academy of Sciences USA,2000,97(20):11026-11031.

[12] Phan K L,Wager T,Taylor S F,et al.Functional neuroanatomy of emotion:a meta-analysis of emotion activation studies in PET and fMRI[J].NeuroImage,2002,16(2):331-348.

[13] Moeller F,LeVan P,Gotman J.Independent Component Analysis (ICA) of generalized spike wave discharges in fMRI:comparison with general linear model-based EEG-fMRI[J].Human Brain Mapping,2011,32(2):209-217.

[14] Fuchs M,Wagner M,Wischmann H A,et al.Improving source reconstructions by combining bioelectric and biomagnetic data[J].Electroencephalography and Clinical Neurophysiology,1998,107(2):93-111.

[15] de Lucia M,Michel C M,Murray M M.Comparing ICA-based and single-trial topographic ERP analyses[J].Brain Topography,2010,23(2):119-127.

[16] Guenther F H.Cortical interactions underlying the production of speech sounds[J].Journal of Communication Disorders,2006,39:350-365.

Research on a Method of EEG Signal Processing Based on DIVA Model

ZHANG Shao-bai1，WANG Yong1，LIU You-yi2

(1.College of Computer Science & Technology,Nanjing University of Posts and Telecommunications,Nanjing 210046,China;2.Key Lab of Cognitive Neuroscience and Learning,Beijing Normal University,Beijing 100875,China)

DIVA (Directions Into Velocities of Articulators) is an adaptive neural network model which is used to control the movement of analog vocal tract for generating the words,syllables or phonemes.The input signal that DIVA model depends on is the EEG (ElectroEncephaloGram) signal collected from the human brain.However,EEG data collected through non-invasive brain-computer interface shows low resolution and large interference in the research of Chinese Neuralynx System.A constraint processing method for the EEG signal based on DIVA model is proposed.Firstly,it uses ICA (Independent Component Analysis) to exclude the original noise in the signal and extract the effective ERP (Event-Related Potentials) ingredient.Then,on condition of spatial information of points which are activated by fMRI (functional Magnetic Resonance Imaging) data,it locates ERP ingredient precisely.Finally,through processing and analyzing experimental data and simulating activated brain regions of the subjects,the result verifies correctness and validity of the method.

DIVA model;EEG signal;fMRI;independent component analysis

2014-11-18

2015-04-15

时间：2016-07-29

国家自然科学基金资助项目(61373065)

张少白(1953-)，男，博士，教授，研究方向为智能系统与模式识别；王 勇(1990-)，男，硕士，研究方向为智能系统与模式识别。

http://www.cnki.net/kcms/detail/61.1450.TP.20160729.1833.002.html

TP31

A

1673-629X(2016)08-0152-04

10.3969/j.issn.1673-629X.2016.08.032