徐鑫，方慧娟

（华侨大学 信息科学与工程学院，福建 厦门361021）

脑－机接口（brain－computer interface，BCI）是一种新的人－机交互方式，其特点在于直接通过人脑来控制外界设备或字符输入，而不用借助外周肌肉.考虑到一个思维正常但有运动障碍的人（如肌萎缩性侧索硬化、严重脊髓损伤或完全瘫痪患者）没有办法和外界进行交流沟通.越来越多的研究者开发基于脑电图（eletroencepalograph，EEG）的交互系统，以辅助以上人群［1－2］.基于P300信号特征的脑－机接口系统具有目标多，个体差异较少的优点.目前在P300领域内，具有在线打字功能的P300－BCI大多针对英文字母和数字，常见的诱发界面与Donchin 等［3］最早研制的字母矩阵相似，也有一些研究采用不同的字母排列及闪烁方式.但国内能熟练使用英语人群的比例不高，很多患者还不能够自由运用英语表达自己的思想，因此，很多学者开始研究繁体中文范式的BCI系统和中文笔画范式的BCI系统.香港大学的中文系语言工程实验室利用基于P300的繁体中文输入字符系统，最后得到了每分钟1.1个中文字的输入的效果［4］.浙江大学的吴边设计了基于笔画的汉字输入BCI系统，其实验的正确率分布在0.38～0.84之间，理论信息传输比特率为14.0bit·min－1，实际有效比特率为1.23～8.80bit·min－1，基本可以实现汉字的输入［5］.但对于用户来说，输入速度较慢，而且现在绝大多数中国人还是习惯使用拼音来打字，只有极少部分人使用笔画输入法打字，因此，设计一个快捷方便的拼音输入系统的任务变得更加迫切.本文首次设计并实现了基于P300的简体中文拼音输入BCI系统，解决了不懂英语和不习惯笔画输入的受试者的困扰.

1 试验方法

1.1 受试者

4名志愿者平均年龄是23.4岁，视力正常或矫正到正常，右利手.其中两名为本科生，两名为硕士研究生.被试者在实验开始之前已明确自己的任务，保持头皮干净、情绪稳定、身体状况良好.

1.2 信号采集

系统信号采集存储等处理模块采用自建的微软基础类（microsoft foundation classes，MFC）平台，实现19导（FP1，FP2，F3，F4，C3，C4，P3，P4，O1，O2，F7，F8，T7，T8，P7，P8，Fz，Cz，Pz）EEG（electroencephalogram）的同步采集.脑电信号被银－氯化银电极制作的电极帽采集，然后经过UEA－24BZ型数字放大器（北京市中科新拓仪器有限公司）放大，其中采样频率定为100Hz.采用单极导联，参考电极取于耳垂.实验期间受试者安静地坐在一张椅子上，放松身体，集中注意力，尽可能减少眨眼及肢体运动.

1.3 用户界面

实验分为训练过程和测试过程.训练期的用户界面，如图1所示.界面可分为两个部分：3×4的字母矩阵、目标字符.测试期的用户界面，如图2所示.界面可分为4个区：一级选择的字母刺激区（Ⅰ）、二级选择的候选汉字刺激区（Ⅱ）、目标拼音区（Ⅲ）、目标汉字区（Ⅳ）.一级选择的字母刺激区按3×4矩阵排列，由26个英文字母、两个标点符号（“，”、“.”）和两个功能键（“Enter”——一级选择完毕确认，“×”——删除）组成；二级选择的汉字刺激区里包含了一级选择的字母对应最常见的11个汉字和一个候选字换页功能键（“Λ”——将候选字区换成下一页的候选字）；目标拼音区包含了一级选择得到的目标拼音；目标汉字区含有二级选择得到的汉字（图1）.系统处在二级选择期，此时一级选择的刺激区不会消失，处于静止状态，在一定程度上可以使界面更加直观明朗，使用更加方便.

图1 训练期的用户界面Fig.1 User interface in the training period

图2 测试期的用户界面Fig.2 User interface in test period

1.4 实验过程

整个实验进行6d，前3d是训练期，后3d是测试期，实验过程如图3所示.训练期，训练开始后，3s的准备时间.屏幕左上方给出目标字母.然后字母矩阵开始单个单元随机闪烁，每个单元都重复了10次后进入下一个字母的训练，直到训练字符数达到设定值退出，受试者每天训练30个字母.

测试期，实验开始有3s的准备时间.界面上的12个按键随机闪烁一次称为一个Run，12个按键都闪烁完一次称为一个Tri，n次Tri后，调用数据处理模块后的结果，查看是否为“Enter”功能按钮，这一个过程称为Epoch.如果不是“Enter”功能按钮，显示出与这个结果相关联的候选字，继续下一个字母的选择；如果是“Enter”功能按钮则进入二级选择状态，得到的候选字群随机闪烁，n次Tri后，调用数据处理模块的结果，并将结果显示在用户界面左下角.

一个中文字被成功选择之后，返回进入到了下一个中文字环节，直到达到了事先设定好的字数，则退出系统.一个中文字的整个过程，如图4所示.

图3 中文输入系统的实验流程图Fig.3 Experimental diagram using Chinese input system

图4 测试阶段整体流程Fig.4 Whole process in the testing phase

测试阶段的打字数设定为7个，且为“华侨大学欢迎你”，当字数达到设定值时，系统自动退出.单个字符闪烁刺激的正确率高于以行列闪烁［6］，系统采用单字符闪烁刺激.参考刺激间隔时间对系统性能的影响［7－9］，实验字符闪烁亮暗时间（ms）设置为［75 100］，［75 200］，［100 100］，［100 200］4组.

2 数据处理部分

实验的BCI系统的结构，如图5所示.图5中包括信号的采集和数据处理部分（预处理、特征提取和分类）.

2.1 数据的预处理

第一步，选择一个0～700 ms的EEG 信号作为分类识别所需的特征；第二步，数据的滤波，将上一步提取出来的数据经过4阶切比雪夫低通滤波器进行滤波，保留频率为1～15 Hz的有效部分；第三步，数据的降采样，对数据进行重采样，按照处理算法的需要，以一定的数据结构格式对数据进行保存.

图5 BCI系统的结构图Fig.5 Structure diagram of a BCI

2.2 特征提取

特征处理是从预处理后的数据中提取出能够最大体现用户意图的信号特征，叠加平均法是最经典的提取P300电位方法.拼音选择阶段的一个Epoch区间段中，将n次不同Tri中的同一个按键闪烁定义为一类，即有12类，其中每一类有n个Run数据段.叠加平均后，一个Epoch包含12个数据段.叠加方式为

式（1）中：Epochi，j为第i个Epoch的第j类平均数据段；Epochi，k，j为第i个Epoch中的第k个Tri中第j类数据段.叠加平均可以有效地提高信号中的刺激时刻后300 ms左右的P300特征成分的信噪比（signal to noise ratio，SNR）.汉字选择阶段信号特征的提取方法类似于拼音选择阶段.

2.3 分类算法

支持向量机（SVM）在二元分类中表现出很好的分类效果，广泛地应用于基于P300的BCI系统的分类.

2.4 自然语言处理

自然语言处理就是利用计算机，对人类特有的书面形式和口头形式的语言进行各种类型处理和加工的技术.自然语言处理要研制表示语言能力和语言应用的模型，根据这样的语言模型设计各种实用系统［10］.一个语言模型通常构建一个字符串s的概率分布p（s），反映的是一个字符串s作为一个整体出现的概率.假设

其概率计算公式可以表示为

系统采用二元语法模型（k＝2），利用该语言模型，找出在线实验中输入目标汉字后续概率大的几个汉字，并显示在候选区中.这样与前面目标字吻合的汉字就更可能被选中，可以提高系统的通信速度和正确率.

3 结果分析

在训练期内每个受试者都完成3组实验，每个受试者都有90字目标字符，包含了900次的Run，刺激后0.7s的数据叠加平均后的波形，如图6所示.由图6可知：受试者在Cz通道的P300波形明显，波峰大约出现在刺激后的300ms处，整个波峰的时间区大约分布在200～480ms，目标刺激的幅度值也明显高出非目标刺激的幅度值，符合文献［11－12］中P300特征.实验的范式可以诱发出P300.图6中：箭头为300ms时Cz电极的位置.参考文献［13－15］，最终选择下列通道：Cz，Fz，Pz，P3，P4，O1和O2，用于测试过程的分类.

图6 刺激之后的0.7s的目标和非目标波形以及P300成分电压空间分布Fig.6 0.7swaveform of target and no target after stimuli and voltage spatial distribution of P300

对以上得到的数据进行10次8折交叉验证，发现对于同一组的刺激间隔，系统的正确率随着字符重复闪速的次数的增加而增加，如图7所示.由图7可知：字符重复闪烁次数在7～10之间，系统的正确率基本达到稳定，n取8；4个受试者在刺激亮暗时间为［75 100］这组效果最好，刺激亮暗时间定为［75 100］；存储离线分析系统最高正确率对应的训练模型参数W，用于后面的测试阶段的实验.

图7 字符重复闪烁次数和刺激间隔对系统的正确率的影响Fig.7 Effect of the character repeat scintillation frequency and stimulus interval on the accuracy of the system

在线测试阶段里，A 组分别统计出三天内4位受试者通过该系统输出目标中文字所花的时间，每分钟打字个数的结果，如表1所示.表1中：“A 组”表示没有使用自然语言处理技术；“B组”表示使用自然语言处理技术；“平均＾”表示将3d相应系统速度进行平均；“平均值”表示将4位受试者对应的系统速度进行平均.由表1可知：最好的结果是B组的受试者1在第3d达到了1.37 字·min－1，比A 组每分钟多打0.35个字，比香港大学的系统每分钟多打0.27个字.

表1 系统每分钟打字个数Tab.1 Typing number of the system in a minute 字·min－1

4 讨论

4.1 系统准确率

刺激间隔对系统的正确率影响非常明显（图7），受试者4表现得尤为明显，间隔时间为［75 100］的一组高出［100 200］一组的20%.这表明字符闪烁重复次数和刺激间隔都能够影响系统的性能，在以后的研究中要注意能够影响系统性能的其他因素.

4.2 性能

在重复次数和刺激间隔相同的情况下，每位受试者使用相同的系统，却表现出不同系统性能.随着实验天数的增加，受试者的打字速度（v）越来越快，如图8所示.从某一角度来说，该系统类似于一种日常生活中的技能，而且该技能是可以训练的，效果会越来越好.

4.3 二级模式

由于没有与其他二级模式比较，所以提出的二级模式的优点没有表现出来.接下来工作可以通过其他研究者的二级模式的范式进行比较，研究他们的优缺点.

4.4 自然语言处理

由图8可知：受试者1在B 组的打字速度高出A 组0.35 字·min－1，因此，自然语言处理技术可以提高系统的速度.挖掘语言本身的特点和设计简单方便的界面将会是设计在线脑电输入系统的基础.

图8 4位受试者3d的打字速度Fig.8 Typing speed of the four subjects in three days

4.5 中文输入系统的下一步优化

中文拼音输入系统是为身体严重瘫痪患者设计的，实验的受试者都是健康正常人群，所以接下来的工作就是将该系统用于医院真正的病人身上.该系统是同步系统，系统最好升级到异步系统，并且寻找更方便的用户界面和更好的分类方法提高系统的正确率和通信速度.

5 结束语

提出了一种新的二级模式的实验范式，操作步骤类似于手机输入汉字，用户更加熟悉.参与实验的4名受试者都可以通过在线系统进行拼音选择和汉字的选择，基本达到了预期通过拼音打字的目标，使用自然语言处理的二元模型也明显地提高了系统的打字速度和输入效率.

［1］LIU Yi－huan，AYAZ H，Onaral B，et al.EEG band powers for characterizing user engagement in P300－BCI［C］∥6th International IEEE／EMBS Conference on Neural Engineering（NER）.San Diego：IEEE Press，2013：1066－1069.

［2］DIMITRIADIS S I，SUN Y，LASKARIS N A，et al.Effective connectivity patterns associated with P300unmask differences in the level of attention／cognition between normal and disabled subjects［C］∥ⅩⅢMediterranean Conference on Medical and Biological Engineering and Computing.Seville：Springer International Publishing，2014：1710－1713.

［3］SERBY H，YOM－TPV E，INBAR G F.An improved P300－based brain－computer interface［J］.Neural Systems and Rehabilitation Engineering，2005，13（1）：89－98.

［4］MINETT J W，PENG Gang，ZHOU Lin，et al.An assistive communication brain－computer interface for chinese text input［C］∥4th International Conference on IEEE Bioinformatics and Biomedical Engineering.Chengdu：IEEE Press，2010：1－4.

［5］LI Yi，ZHANG Jian－hui，SU Yu，et al.P300based BCI messenger［C］∥International Conference on CME ICME.Gold Coast：IEEE Press，2009：1－5.

［6］SELLERS E W，KRUSIENSKI D J，MCFARLAND D J，et al.A P300event－related potential brain－computer interface（BCI）：The effects of matrix size and inter stimulus interval on performance［J］.Biological Psychology，2006，73（3）：242－252.

［7］POURATIAN N，SPEIER W，HU Xiao，et al.The effects of stimulus timing features on P300speller performance［J］.Clinical Neurophysiology，2013，124（2）：306－314.

［8］POLICH J.Updating P300：An integrative theory of P3aand P3b［J］.Clinical Neurophysiology，2007，118（10）：2128－2148.

［9］DUNCAN C C，BARRY R J，CONNOLLY J F，et al.Event－related potentials in clinical research：Guidelines for eliciting，recording，and quantifying mismatch negativity，P300，and N400［J］.Clinical Neurophysiology，2009，120（11）：1883－1908.

［10］冯志伟.自然语言的计算机处理［M］.上海：上海外语教育出版社，1996：26－27.

［11］WOLPAW J R，BIRBAUMER N，MCFARLAND D J，et al.Brain－computer interfaces for communication and control［J］.Clinical Neurophysiology，2002，113（6）：767－791.

［12］BIRBAUMER N.Breaking the silence：Brain－computer interfaces（BCI）for communication and motor control［J］.Psychophysiology，2006，43（6）：517－532.

［13］RAKOTOMAMONJY A，GUIGUE V，MALLET G，et al.Ensemble of SVMs for improving brain computer interface P300speller performances［M］.Warsaw：Springer Berlin Heidelberg，2005：45－50.

［14］SALVARIS M，SEPULVEDA F.Visual modifications on the P300speller BCI paradigm［J］.Journal of Neural Engineering，2009，6（4）：046011.

［15］CORRALEJO R，NICOLÁS－ALONSO L F，ÁLVAREZ D，et al.Assessment of an assistive P300－based brain computer interface by users with severe disabilities［C］∥ⅩⅢMediterranean Conference on Medical and Biological Engineering and Computing.Seville：Springer International Publishing，2014：1647－1650.