余剑雄 文元美

特约论文

面向瘫痪失语者的脑机字符与语音交互系统

余剑雄 文元美

（广东工业大学信息工程学院，广东 广州 510006）

为解决瘫痪失语者语言交流的困难，研究一种基于单通道柔性干电极脑电采集模块的脑机字符与语音交互系统。首先，将时序脑电信号绘制成二维图像并着色处理，利用卷积神经网络识别出含有眨眼特征的图像；然后，根据含有眨眼特征图像的连续帧数，实现短眨眼、中眨眼、长眨眼特征的细分；最后，结合脑电信号中解析的注意力特征，在虚拟交互系统输出字符与语音。实验结果表明：该系统的交互准确率达96.4%。

脑电信号采集；单通道；眨眼特征；注意力特征；字符与语音交互系统

0 引言

我国因中风或渐冻症而瘫痪失语的人数多达10余万。瘫痪失语者意识清醒却只有眼珠能动，常因为无法表达身体感觉和情绪而得不到合适照料，同时也因无法与人交流而心理受创[1]。为提升瘫痪失语者的生存质量，国内外学者在脑机接口方面展开了一系列研究以帮助患者进行交流。

在多通道脑机接口研究方面：2011年CECOTTI等基于64通道的脑电信号，利用卷积神经网络（convolutional neural networks, CNN）设计一种检查P300电位的算法，最高分类准确率达95.5%[2]；2012年HWANG等采用双通道（Oz, O2）脑电信号设计一款基于稳态视觉诱发电位（steady-state visual evokedpotential, SSVEP）的字符输入系统，字符输入速度为9.39字符/min，交互平均准确率达87.58%[3]；2017年韩国高丽大学的研究人员采用30个电极的电极帽，通过稳态触觉诱发电位实现电动轮椅的控制[4]；……