任泓锦， 张 超， 伏云发

（昆明理工大学 信息工程与自动化学院，云南 昆明650500）

前言

直接脑机接口/脑机交互（Brain-computer/machine interaction，BCI/BMI）的概念由维达尔于1973年首次引入［1-2］，其中基于稳态视觉诱发电位（Steady state visual evoked potentials，SSVEP）的BCI系统是根据人的大脑对高于6 Hz［3］（或高于4 Hz［4］）频率调制视觉刺激的周期性响应，从头皮记录与刺激具有相同的基本频率的接近正弦的振荡波形得出.现有的SSVEP系统不但可设置超过40个的目标数［5］，而且对被试的适应性训练要求较少［6］.

脑控机器人（Brain-Controlled-Robot，BCR）作为机器人控制领域中的一个重要的应用［7-11］，非接触式控制使得部分残疾人士可以通过意念来对机器人或机械臂进行直接控制［12］.与基于运动想象的脑控机器人相比，基于SSVEP的BCI系统具有出色的信噪比，具有在对抗人为干扰时的鲁棒性、控制指令多和控制精度高等优点.

传统的SSVEP-BCI系统要求被试双目必须注视刺激目标，因为双眼接受刺激后大脑的左枕叶和右枕叶上的相位活动是同步的.文献［13-14］关于被试单侧视野接受光刺激的SSVEP研究也指出，当单侧眼睛接收到视觉刺激后会在对侧视觉皮层上产生与该刺激相关的刺激电位，并通过胼胝体完成左右枕区的相位活动同步.同时，Wu［15］通过比较单眼刺激和同时双眼刺激下的SSVEP功率和分布，证明了不同SSVEP神经网络的分布是相似的，它们之间应该存在物理重叠.由此可见，不论单眼或是双眼注视刺激目标最终在脑内的神经处理是相似的，因而关于单眼的SSVEP研究甚少.

本研究选取若干名近视且视力具有一定偏差的被试，让他们在佩戴近视矫正眼镜的情况下分别完成基于单眼和双眼的SSVEP直接脑控机器人的协作任务，并依照实验结果对近视患者两眼视力的差异程度对SSVEP控制准确率的影响进行分析.

1 脑控多机器人协作任务平台设计

直接脑控多机器人协作任务控制系统是大脑、机器人/机械臂和计算机之间共同构成的一个闭环控制系统［16］.本研究搭建的实际系统如图1（a）和（b）所示，机器人/机械臂与计算机通过蓝牙连接，无线脑电采集帽通过TCP/IP协议与计算机相连，根据脑电信号计算出的控制指令通过UDP协议发送到蓝牙发射器，蓝牙传递给机器人/机械臂.机器人/机械臂的操作结果通过安置在适当位置的无线摄像头传回给被试，被试可根据摄像头传回的反馈信息对机器人/机械臂下一步的动作进行调整.

图1 直接脑控机器人系统设计图Fig.1 The figure of direct brain control robot system design

脑控人形机器人和机械臂在本研究中共计使用20个不同的指令，如表1所示.其中，人形机器人9个指令，包含了前进后退、左转右转和左移右移6个基础移动指令，蹲下、起立和弯腰3个动作指令；机械臂11个指令，包含了8个舵机指令、1个复位指令和2个夹持器指令.

表1 人形机器人/机械臂指令Tab.1 Humanoid robot/arm command

2 单/双眼的SSVEP实验设计和方法

2.1 实验被试、脑电设备及参数设置Allison等［17］以及Christoph等［18］的研究表明，尽管基于SSVEP的BCI系统的适应性很高，且经过少量训练后大部分被试都能满足实验需求，但是仍有部分被试由于自身原因导致SSVEP控制的准确率较低.因此，为了满足实验要求，并减少额外因素的干扰，本次研究选择了20名被试，对他们进行了预实验.使用图2（a）所示的实验刺激范式，让被试双眼注视该刺激范式，每个数字看3次，刺激闪烁时间为2 s，中间休息4 s.依照所有人的测试结果，从中选取了8名实验效果较好且具有代表性的被试（目标，S1-S8），其中5名被试为男性，3名被试为女性，年龄在22～26岁之间，健康状况良好，均无SSVEP使用的实验经验，均有不同程度的近视情况，且7名被试双眼的度数有一定的差异，具体度数如表2所示.所有被试在实验时均佩戴视力矫正眼镜，对实验研究均知情同意.脑电采集设备为博睿康科技有限公司（Neuracle）的32通道无线脑电采集系统（包括脑电帽、无线路由器以及无线脑电放大器）.用作典型相关分析（canonical correlation analysis，CCA）的电极为T5、P3、Pz、P4、T6、PO3、PO4、O1、Oz和O2，参考电极为Cz，接地电极为FPz，导联位置符合国际10—20标准，采样频率为250 Hz，实验中每个电极的电阻阻抗保持在5 000Ω以下［19］.

表2 被试近视度数统计表Tab.2 Subjects myopia statistics table

图2 SSVEP刺激范式方案Fig.2 SSVEP stimulus target paradigm

本次研究采用3×3（图2（a））和3×4（图2（b））共2种布局的刺激范式方案，所有刺激范式方案均由Matlab的Psychtoolbox（PTB）工具箱实现.每个刺激目标对应一个特定的刺激频率，在3×3的刺激范式布局中，白色的目标方块从左至右的闪烁频率依次为8.0、12.0、8.5、9.0 13.0、9.5、10.0、14.0和10.5 Hz，在3×4的刺激范式中为8.0、12.0、8.5、9.0、13.0、9.5、10.0、14.0、10.5、11.0、15.0和11.5 Hz.

2.2 单/双眼SSVEP训练实验在进行协作任务之前，被试需要进行适当的训练.目的是让被试熟悉实验室的环境，同时根据实验结果选出每个被试适合进行实验的单眼.首先，被试需注视3×3的SSVEP刺激范式中的白色目标方块（图2（a）），进行6组训练，其中左眼、右眼和双眼各占两组，每组10个刺激任务，每个刺激任务之间被试的休息时间Tr为4 s，每个刺激任务的闪烁时间Tf为2 s.要求训练内容为：被试需分别用左眼、右眼和双眼注视该3×3的SSVEP刺激范式目标，依照从左至右、从上至下的顺序，注视每个刺激目标1次，当被试观察完9个刺激目标后，需要再观察第一个刺激目标1次，完成一组的训练.在进行单眼SSVEP的训练时，另一只不使用的眼睛会被一个黑色不透光的眼罩遮住，以避免实验结果受到干扰.在训练结束后，我们会对所有被试进行测试，测试内容与训练内容相同.

2.3 基于单眼SSVEP脑控多机器人协作控制任务通过2.2所示的训练环节后，被试已经基本熟悉SSVEP的操作方式和技巧，随后将表1所示的指令表交给被试，待被试记住以后便可进行协作任务控制.图3为进行基于单眼SSVEP脑控多机器人协作任务的实际场景布局.图3（a）为被试实际操作的画面，其中（1）为SSVEP刺激呈现屏幕，（2）为摄像头图像反馈显示屏幕，（3）为被试座椅，（4）为不透光医用屏风；图3（b）为机械臂/机器人实验平台，其中，（1）为远端无线摄像头，（2）为主试座椅，（3）为运行CCA算法并显示所得结果和被试已执行步数的计算机，（4）为机械臂，（5）为人形机器人.

图3 实际实验场景布局Fig.3 The actual experimental scene layout

被试需要左眼、右眼和双眼各完成一次协同任务控制，考虑到先前实验中单眼SSVEP准确率偏低，因此，被试将先用双眼SSVEP开始机器人间协同任务控制实验，以便熟悉环境和任务要求.协同控制任务开始后，被试打开摄像头图像反馈显示屏，并有5 min的时间根据摄像头中传回的画面判断机器人和机械臂的相对位置，进而制定好相应的行动方案（为使人形机器人和机械臂的协作任务更偏向于实际应用，在协作任务开始前，被试对实际控制对象的位置和控制任务并不知情）.人形机器人会随机摆放在图1（b）中a和b的任意一点，另一点则摆放机械臂.准备时间结束后，主试开启被试的SSVEP刺激显示屏幕，待被试准备就绪后启动3×4的SSVEP刺激范式.

在整个协同控制任务中，被试需要操控机器人走到机械臂所在的位置，通过机械臂夹取彩色小方块放入机器人背后的篮子中，并原路返回.被试需要在每个刺激任务休息的4 s时间里根据摄像头传回的画面，自行判断下一步应该执行的指令.主试对机械臂/机器人实验平台进行录像，当机器人携带彩色方块再次回到启动地点时，停止录像并结束实验.实验结束后，被试需观看自己的操作录像，指出操作错误的地方，由主试记录错误次数和错误原因.被试训练前后的实验结果和协同控制任务的准确率如图4所示.

图4 单双眼实验准确率统计图Fig.4 Monocular and binocular test accuracy charts

2.4 典型相关分析（CCA） 采用适用于SSVEP解码的CCA方法，该方法是由Hotelling提出的一种多元数据处理方法［20-21］.Lin等［22］首先将CCA应用于基于SSVEP的脑-机交互系统中.

在基于CCA的SSVEP信号分析中，X为多通道EEG信号的集合，Y（f）为参考信号的集合，即

其中，N为统计到的谐波数量，f为刺激频率，fs为采样频率.矢量WX执行滤波器的功能，WY为参考信号的权重.基频处的参考信号sin（2πft）和cos（2πft）通过WY中相应元素进行加权和线性组合时，会在相同频率处生成具有非零相位的信号，WY包含了SSVEP的相位信息.

若有n个刺激目标，闪烁频率从小到大的顺序为f1，f2，…，fn，可通过（1）式计算得到ρ（f）（f＝f1，f2，…，fn），则目标频率所得fg即是我们所认为的目标注视频率.

3 基于SSVEP的脑控多机器人协作控制任务实验结果

表3呈现了8名被试在3×3 SSVEP刺激范式测试结果和人形机器人与机械臂协同控制任务的结果.展示了8名被试实际操控步数、错误步数和正确率，根据左右眼平均准确率大小而得出的优势眼、相同测试环节中平均准确率、最小准确率和最大准确率.

结合表3所反映的信息，不难看出，除了S2、S7和S8这3名被试外，其他5名被试在协同控制任务中左右眼SSVEP控制的准确率差值均在4%以下，而S2、S7和S8这3人的准确率差值则分别为5.31%、17.8%和10.36%，与3人的视力差值成正比.

表3 人形机器人和机械臂协同控制任务结果Tab.3 Humanoid robot and arm control mission results

对本研究的实验结果进行统计，得到图4，不论在哪个阶段，双眼实验的准确率都高于单眼.左右眼分别进行单眼实验的控制准确率，在训练后的几次实验中，均是左眼的准确率高于右眼的准确率.而相较于训练前，左右眼的控制准确率都有明显的提高，双眼控制的准确率随实验难度增大有所下降.

4 讨论

脑机交互技术是一种新型的人机交互技术，脑控机器人技术是该技术的主要发展方向之一，其中基于SSVEP的脑控机器人技术是该领域中比较热门的研究方向.通过将该技术应用于人类实际生活中，使人脑生物智能和人工机器智能技术交汇融合，具有重要的科学意义和实用价值.本文探究双眼视力差对被试在进行长时间单眼SSVEP机器间协作控制时的影响，传统的脑控机器人主要是完成一些简单的设定指令，而很少进行单被试、多控制对象协作任务的控制.在我们的实验中，先使用3×3的刺激范式训练被试，使被试进一步熟悉SSVEP的控制方法，特别是单眼SSVEP的控制技巧.2次训练结束之后，询问了每位被试的感受，并根据其在第一次训练中的表现，为他们选择控制效果较好的眼睛.其中，双眼视力差大于100度的3名被试S2、S7和S8均选择了自己视力较好的那只眼睛，所有被试的视力情况见表1.实验结束后，对这3名被试进行单独的调查问卷得到的结果表明，这3名被试均表示使用自己视力较好的眼睛进行单眼SSVEP实验时注意力更容易集中，而使用高度数的眼睛则更容易出现疲劳.由于没有找到较多眼部视力差值在100度以上的被试，所以对此结果持保留意见，但就已有的双眼视力差大于100度的被试而言，偏向于使用自己视力较好的眼睛.

与之前研究脑-机器人接口（Brain-Robot-Interface，BRI）系统的论文相比，本文并没有采用自适应分层结构体系让机器人可以对执行的命令进行学习［23］，而是采用CCA算法，通过简易界面刺激实现用单双眼进行SSVEP控制，使机器人和机械臂的协作控制可以取得比较高的准确率.同时，本文的研究在多机器人协作任务上并没有达到较大的规模化控制，例如文献［24-25］提出的基于SSVEP的分层结构体系用于控制14个NAO机器人进行协作运动来完成操作任务，取得了良好的结果.前述研究中设计的分层结构体系是一种非常高效的控制方法，是日后研究多机器人协作配合的一条可行途径.

本文进行的实验研究意义在于探究两眼具有一定视力差异的近视患者对单眼和双眼SSVEP在实际完成两台机器之间的协作任务时是否存在一定的影响.本文单双眼进行机器人控制的平均命令数为86.67，平均时长为701 s，均大于文献［24-25］所得到的单次刺激任务的最大平均命令数（51.8±2.3）和最大平均时长（271.2±14.3）s.单眼和双眼的平均准确率在最终的实验中分别达到了82.74%和86.85，接近于上述研究中所得出的88%准确率的结果.虽然我们所设计的实验并没有达到文献［24-25］研究的那种复杂性，但就实验的正确率而言，还是达到了一个较满意的水平.通过表3的数据不难看出，双眼视力差大于100度的3名被试S2、S7和S8的单眼测试结果准确率高的均为视力较好的眼睛.但他们的双眼实验的结果，除了S7在协作任务中表现稍差外，其余均与他人无异.因此，参照Goto等［14］关于被试单侧视野接受光刺激的SSVEP研究可以推测，进行双眼SSVEP实验，两只眼睛可以起到一定的互补作用，而在进行单眼SSVEP实验时，即使佩戴视力矫正眼镜，被试在用视力较差的眼睛进行观测时也容易出现注意力不集中和视觉疲劳等问题，致使实验结果存在一定的差异.因此，在日后进行单眼SSVEP的可穿戴设备开发的时候，建议参照穿戴者双眼的视力进行一定的调整.

5 结论

SSVEP的脑机交互范式测试了单眼SSVEP进行不同机器协作控制任务时双眼的视力差对实验结果造成的影响，单眼的SSVEP在机器人协作控制中保持了较高的准确率.在机器人和机械臂协作控制任务中，通过典型相关分析（CCA）完成在线SSVEP系统，经过训练的8名被试均完成了最后的控制任务，并取得了不错的结果.结果表明，双眼视力差值的大小会对单眼SSVEP的使用造成一定程度上的影响，对于其影响机制以及具体原因仍需大量的被试进行研究，期待后续能有更完善的结论.目前单一的控制方式往往具有局限性，基于SSVEP的脑控机器人可以和P300、MI运动想象等控制方式相结合，通过混合控制提升分类准确性，并降低操作的复杂性［26-28］.同时也探究了SSVEP控制可能的改进方式，期望能为日后的脑控机器人的研究和应用打下一定的基础.

致谢 昆明理工大学脑信息处理与脑机交互融合控制（学科方向团队建设经费）项目对本文给予了资助，谨致谢意！