APP下载

基于P300信号的脑控机械手关键技术研究

2020-06-01王浩冯宝周和蓝彦峰蒋奇航宾原

桂林航天工业学院学报 2020年1期
关键词:电信号字符机械手

王浩 冯宝 周和 蓝彦峰 蒋奇航 宾原

(桂林航天工业学院 电子信息与自动化学院,广西 桂林 541004)

脑机接口(Brain computer interface, BCI)是一种利用脑电信号(Electroencephalogram,EEG)特征建立学习人机交互模型的技术[1]。P300字符输入是BCI的一种典型应用,主要是根据不同字符闪烁刺激引起的脑电信号的差异而进行字符识别和输入。

P300信号是一种在事件发生后约300 ms左右出现的诱发式脑电信号[2]。在基于P300的脑控机械手系统中,依靠脑电信号进行字符输入,通过识别出P300信号对应的字符来控制机械手完成特定动作。在脑控机械手系统中,决定系统性能的一个关键步骤是如何根据P300信号识别出不同字符。

在利用P300信号的进行机械手控制时,第一步是采集相关的P300信号。通过计算机屏幕向受试者展示了一个包含40个不同字符的字符矩阵。受试者关注其中目标字符闪烁,同时机器记录整个过程的脑电信号。第二步为针对不同字符所引起的P300信号特征建立相应的BCI解码模型,解码引起P300特征的目标字符,完成字符输入。第二步中如何确定P300相关信号通道是一个关键步骤[3]。目前P300信号的通道选择方法主要包括两类:一类是机器学习算法;另一类是经验选择法。机器学习算法自动学习所有通道对应的权重系数,通过权重系数来选择最优通道子集参与后续分析过程。经验选择法是根据先验知识选择或剔除指定通道[4]。经验选择法易于实现,但是无法满足个体差异,会导致部分有效特征通道信息丢失。第三步是机械手动作,根据预先定义的字符调用响应的动作程序,完成机械手特定动作。

为了提高P300字符输入效率,提升机械手控制准确性,本文采取机器学习算法对P300信号进行选择。传统机器学习算法如SVM没有考虑最优脑电通道子集的空间稀疏性(任务相关脑区在全脑中具有空间稀疏性),一定程度上影响了后续P300特征分类的准确性[5-8];LASSO(least absolute shrinkage and selection operator)选择出的最优通道子集过于稀疏在优化构建过程中忽略了同一通道内特征信号的空间平滑特性(即同一通道内特征向量归属于同一组具有相似的表现)[9-10];组LASSO(group LASSO)需要大量交叉验证[11]等,本文提出利用基于组稀疏贝叶斯方法进行P300信号相关通道选择。首先建立贝叶斯框架下的基于P300的BCI解码模型,其次结合P300相关脑电通道的空间稀疏性和空间平滑性,提出基于组稀疏约束的贝叶斯逻辑回归方法来同时完成P300特征检测和通道选择。本文利用所提出方法以自采集数据作为模型训练基础,同时利用训练结果控制机械手进行字符输入,实验结果表明本文所提出的方法可以有效地提高脑控机械手的字符输入效率。然后,将识别出的字符转换为相应的机械手命令,完成机械手控制过程。

1 P300信号采集

1.1 实验范式设计

自采集数据的P300拼写系统具有其特有的图形用户界面(参见图1 (b))和刺激时间。实验过程中,在计算机屏幕上向受试者呈现了一个包含40个不同字符的4×10矩阵。以随机顺序依次闪烁字符。受试者需要关注40个字符中的一个,在该字符闪烁时受试者脑部将产生P300信号。刺激间隔设置为30 ms,刺激时间设置为100 ms,将40次刺激中的每一次字符闪烁都重复10次。在实验完成后对从受试者头皮采集的EEG信号进行处理以确定受试者关注字符对应的P300信号。

实验中对每个受试者测试为一次实验、循环2次显示字符,每次40个字符:一次用于训练分类器,选择最佳通道子集,必要时设置交叉验证的参数;一次作为验证集;EEG数据以250 Hz的采样率采集。系统范式如图1(b)所示。该范式向被试者呈现一个包含40个不同字符的4×10字符矩阵。每个字符都以随机顺序依次闪烁,每次闪烁称为一个train。为了拼写一个字符,字符矩阵中的40个字符以随机闪烁的形式每个字符都闪烁一次(称为一个block),然后这40个字符又以另一种随机方式闪烁一次,如此重复10次,形成一个block。每个block相隔时间与刺激间隔时间均为30 ms,单个刺激持续时间为100 ms。在一个block中,只有一次闪烁是靶刺激(即闪烁的字符是目标字符),在目标字符闪烁时产生P300信号。

从闪烁开始后的0.600 ms内提取数据,对收集到的数据进行预处理。首先30通道的EEG经过[ 0.5,20 ] Hz带通滤波,然后对滤波后的数据下采样,采样频率为41.7 Hz。因此每个刺激中一个通道有25个数据点,30个通道可形成大小为25×30=750的特征矩阵。此范式拼写一个字符可产生10×40=400个样本。

图1 自采集数据的P300拼写系统和图形用户界面

1.2 采集过程

本实验使用NuAmps轻便的37导DC放大器以及配套的37导联电极帽进行实验。自采集设备采用36通道进行采集,采集频率为250 Hz。

首先将NuAmps轻便的37导DC放大器连接到电脑端,使用相关的上位机软件进行配置,其中A1、A2作为参考电极,确认连接成功后帮助受试者戴上电极帽以及相关的采集设备。

受试者在实验研究人员的帮助下带上37导联电极帽,使用注射器在每一个采集点注入导电胶。研究人员可观察电脑端上位机的界面来检验采集数据的电极是否接触良好。研究人员在确认接触良好后,可向受试者说明实验的注意事项。随后,研究人员启动软件,开始采集数据。

在实验结束后,研究人员保存实验所采集的数据,并且帮助受试者卸下采集设备。

2 信号预处理

P300脑电信号的预处理主要包括以下四步。第一步:将P300脑电信号以A1、A2两参考电极为参考,将37导联脑电采样数据减去参考值[2,5]。第二步:提取出字符开始闪烁之后的600 ms区间的每一路导联数据,根据已知的知识,激发电位是在刺激后的300 ms左右出现,所以可以认为这个时间窗是可取的。第三部:将脑电波信号进行0.1 Hz到25 Hz的带通滤波,同时去除其他生物电信号造成的干扰噪声。第四步:对滤波后的数据进行六分之一下的采样,并保存数据。

3 基于组稀疏贝叶斯模型的P300信号处理

3.1 通道选择与特征提取

检测某一刺激下脑电信号中是否包含P300特征是一个典型的二分类问题。将P维特征向量x∈RP映射到类别标签t∈{-1,1}的线性模型可以表示为

t=ωTx+ε,

(1)

其中ω∈RP是权重向量,ε∈R是具有精度为β的零均值高斯随机变量。给定训练数据集(X,t),X∈RN×P,其中X=(x1,…,xN)T,类别标签t∈{-1,1}N,N表示样本数。权重向量ω服从如下高斯分布

p(t丨X,ω,β)=N(t丨XTω,β-1)。

(2)

为了估计ω的后验概率,需要引入一个关于ω的先验分布。在稀疏贝叶斯线性判别分析(sparse Bayesian linear discriminant analysis,sBLDA)中,结合ARD先验方法,对ω中的每个元素ωi,(i=1,…,P)设置相应的超参数αi,形成超参数向量α=(α1,…,αP)T,则ω的稀疏先验定义为:

(3)

考虑到与P300特征相关的脑电信号除了具有空间稀疏特性外,还具有空间平滑特性。将ω分为G组,为每组权重系数ωg定义超参数αg,则组内权重参数ωi,i∈Ig(Ig是包含第g组索引的集合)共享一个超参数αg。ω的组稀疏先验形式表示如下

(4)

其中

α=(α1,…,α1,α2,…,α2,αG,…,αG)。

(5)

由于ω的似然函数和先验概率都服从高斯分布,因此其后验概率也服从高斯分布。后验概率形式如下

p(ω|t,X,α,β)=Ν(ω|m,Σ),

(6)

通过最大化后验概率的方法可以求得最优的ω值。均值和方差由下式给出

m=βΣXTt,

(7)

Σ-1=A+βXTX。

(8)

A=diag(α)。

为了估计超参数α和β,此处可以采用最大似然估计方法来完成。

在P300特征检测中,所构造的P=C×Td维特征向量x∈RP包含了C个通道在Td个时间点内的脑电数据。为了进行通道选择,设置组的个数G等于通道个数C,此时单位组内的数据代表了一个通道在Td个时间点的脑电数据。在组稀疏约束下,权重系数ω中大多数值将收缩为零,意味着其所对应的通道数据将被剔除,则可根据ω中非零值的分布自动完成通道选择。

本实验研究的P300信号是外部事件刺激产生的一种脑电信号,实验过程中采用32级的电极帽来采集大脑的信号,然而我们的脑电信号种类繁多且复杂,并不是32个信号通道产生的信号里都含有P300信号,因此需要对信号通道进行研究并验证分析,选择出产生P300信号的主要通道并有效地提取出P300信号。

3.2 字符输入

在完成P300相关通道选择与特征提取后,建立起相关模型,用于实时测试完成脑控字符输入。在实时检测的过程中,在佩戴好相关信号采集设备后,通过对被输入字符的想象,使脑部视觉区产生与视觉神经受到字符刺激相同的P300信号,读取并提取出该信号特征后,根据其特征对其进行分类,以识别出该段P300信号是由40个刺激源字符中的哪一个所刺激产生的,识别完成后,将该字符输入并显示,同时通过搭建完成的通信系统将其发送至机械手控制端,以完成下一步的控制。

完成字符输入后,便可将利用P300信号输入的字符传输至机械手控制端,生成相应的机械手运动命令,完成依靠P300字符输入控制脑控机械手运动的整个过程。

4 基于P300字符输入的机械手运动控制

4.1 通信系统搭建

Socket是面向客户/服务器模型而设计的,针对客户和服务器程序提供不同的Socket系统调用。客户随机申请一个Socket,系统为之分配一个Socket ID;服务器拥有全局公认的Socket,任何客户都可以向它发出连接请求和信息请求。

将分析脑电数据的PC作为服务器,将机械手的控制端作为客户端,建立一个Socket通讯连接,将识别出的字符传输到机械手控制端,让机械手能够根据收到的字符生成相应的命令。

4.2 机械手命令生成

本文自采集的P300信号是由40个不同字符所引起的,在训练出相应模型后,可以识别出不同信号是由哪个字符所引发的。事先,在机械手中编辑好各个字符对应的运动命令,以机械手控制端接收到对应字符作为触发条件,在接收到通信系统传输过来的字符后,便触发相应的运动命令使机械手开始运动。

表1 部分字母对应的机械手命令

5 实验结果

利用自采集数据,再训练出相应的P300模型后将利用实时检测P300信号控制机械手运动,由于基于P300信号的脑控机械手的控制准确率主要取决于P300信号字符输入的准确率,其多次测试的准确率如下,可以看出利用本方法对脑控机械手的控制准确率有所提高。

表2 被试的最佳通道数量(自采数据集)

图5 每个通道选择方法的测试集中被试的平均准确度(自采集数据)

6 结论

本文提出一种利用贝叶斯框架下组稀疏约束的P300信号识别算法来提高脑控机械手效率的方法。通过其检测出触发P300信号的字符并发送到机械手控制端并生产相应命令,完成脑控机械手运动。通过实时检测,可验证出本文通道选择方法对脑控机械手控制有所帮助,即只对与P300信号相关的通道数据进行重点分析,可对脑控机械手运动的准确率和效率有所提高,有望推动脑控机械手技术的发展,帮助脑控机械手技术从理论到实际应用的落地。

猜你喜欢

电信号字符机械手
基于联合聚类分析的单通道腹部心电信号的胎心率提取
字符代表几
一种USB接口字符液晶控制器设计
图片轻松变身ASCⅡ艺术画
基于Code Composer Studio3.3完成对心电信号的去噪
HBM电子称与西门子S7-200系列PLC自由口通讯
TRIZ与情景分解法在换刀机械手设计中的应用
机械手式自动打结机
基于随机森林的航天器电信号多分类识别方法
基于粒子群迭代的一种冗余机械手逆解算法