张桃，杨帮华，段凯文，唐健真，韩旭

基于运动想象脑机接口的手功能康复系统设计①

张桃，杨帮华，段凯文，唐健真，韩旭

针对脑卒中患者的手功能康复，本文介绍一种基于运动想象脑机接口的康复系统。该系统包含3个子系统。离线训练子系统依次呈现黑屏、左/右手动作视频、左/右箭头，分别提示患者休息、准备并指导运动想象、进行运动想象任务，最终将采集的脑电信号(EEG)建立识别模型；在线更新训练子系统依次呈现黑屏、箭头提示，依据建立的模型分析患者EEG信号，控制手部动作视频呈现，同时反馈给患者产生更易识别的EEG信号，建立更有效的识别模型；虚拟现实在线训练子系统在3Dmax中制作训练场景模型、3D人物模型及其手部动画，导入Unity3D中设计控制方式，患者通过手部运动想象，依据有效模型分析其EEG信号，实时控制3D人物手部运动。该系统具有多层次、沉浸感强等特点，为手功能康复提供新方法，同时为家庭化训练奠定基础。

脑机接口；运动想象；脑卒中；手功能；康复；虚拟现实

[本文著录格式] 张桃，杨帮华，段凯文，等.基于运动想象脑机接口的手功能康复系统设计[J].中国康复理论与实践,2017, 23(1):4-9.

CITED AS:Zhang T,Yang BH,Duan KW,et al.Development of hand function rehabilitation system based on motor imagery brain-computer interface[J].Zhongguo Kangfu Lilun Yu Shijian,2017,23(1):4-9.

脑卒中是由于脑部供血受阻而引起脑功能损失的一种疾病，可导致运动、感觉、语言等功能障碍，以运动功能障碍最为常见[1]。据世界卫生组织报道，约有80%的脑卒中患者存在不同程度的肢体功能障碍，其中超过60%的患者进入慢性期后仍然存在手功能障碍而不能独立生活[2]，给家庭和社会造成沉重的负担。

目前，手功能康复仍是康复中的重点和难点。一方面，手部位于大脑皮层的投射区域相对较大，人类手功能约占全身功能的54%[3]。另一方面，手及手指的精细操作和协调配合极具复杂性，使得其恢复较身体其他部分更为困难[4]。传统的手功能康复方法，如冷疗法、电刺激疗法、依靠治疗师的运动治疗和作业治疗及中医康复手段等[5-10]，不仅耗费较多的人力，康复过程单调乏味，缺少患者主动参与的刺激与反馈，而且更缺乏支配肢体的大脑运动神经系统直接参与，康复效果有待提高。

运动想象(motor imagery,MI)能够激活大脑自身细胞的可塑潜力[11]，重建受损大脑的皮质，修复外部肢体和大脑之间的功能控制连接[12]。基于运动想象的脑机接口(brain-computer interface,BCI)是一种通过运动想象产生的脑电信号(electroephalography,EEG)实现人脑与外部设备之间直接进行通信和控制的接口。与传统康复训练相比，基于MI-BCI的脑卒中康复训练不仅能够促进中枢神经的重塑[13]，还具有以下优点：①安全性高，不需要患者的实际运动，也适合残留微弱运动功能或完全瘫痪患者；②能够对康复训练进行监控、测量，只需少量医护人员参与，节约人力；③提供有效的反馈，使患者主动参与康复训练。

目前，MI-BCI应用于脑卒中后康复逐渐成为国际研究热点。另外，动作观察能够促进运动记忆的形成，从而有助于运动学习[14-15]。虚拟现实(visual reality)技术具有交互、沉浸和想象三大特征[16]，可以为患者提供与现实环境相似的虚拟环境以及多感官反馈信息，提高训练积极性与趣味性。因此，MI-BCI技术结合动作观察法、虚拟现实技术为脑卒中后手功能康复带来新希望。

Unity3D能够实现虚拟现实技术，它自带丰富的开发资源，有利于快速开发出高品质的多媒体应用程序[17]。本文利用Unity3D开发基于MI-BCI的手功能康复系统。该系统包含离线训练、在线更新训练和虚拟现实在线训练三个子系统。因此，该康复系统能够提供多层次训练，结合MI-BCI技术、动作观察法及虚拟现实技术，实现脑卒中患者手功能的主动康复训练，促进运动学习和中枢神经的重塑。

1 基于MI-BCI的手功能康复系统构成

图1展示了基于MI-BCI的手功能康复系统总体结构，由患者、基于MATLAB技术的信号采集-处理系统、基于虚拟现实技术的手功能康复系统组成。信号采集-处理系统工作过程为采集患者的EEG信号后进行预处理、特征提取和特征识别。

1.1 离线训练子系统

该子系统依次呈现黑屏、左/右手动作视频和左/右箭头，分别提示患者休息、运动想象准备和左/右手运动想象。当患者开始左/右手运动想象时，该子系统通过TCP/IP通信协议发送“采集信号”命令给信号采集-处理系统，使其采集患者运动想象期间的EEG信号。离线训练结束后，信号采集-处理系统对采集的EEG信号进行预处理、特征提取、特征识别建立识别模型，提供给在线更新训练子系统。

1.2 在线更新训练子系统

该子系统依次呈现黑屏、左/右箭头，患者根据呈现的左/右箭头进行左/右手运动想象，同时该子系统通过TCP/IP协议发送“信号采集处理”命令给信号采集-处理系统，采集患者运动想象期间的EEG信号并进行预处理、特征提取、依据建立的识别模型特征识别，识别患者EEG信号的类别；当箭头消失时，信号采集-处理系统将识别结果通过TCP/IP协议发送给该子系统，控制左/右手动作视频的呈现，作为视觉反馈，促使患者产生更易识别的EEG信号。待训练结束后，信号采集-处理系统将采集的EEG信号进行预处理、特征提取、特征识别，建立更有效的识别模型。为了更好地实时控制虚拟现实在线训练子系统，患者还可进行多次在线更新训练建立多个识别模型，从中选择最好的识别模型。

1.3 虚拟现实在线训练子系统

当患者进行左/右手运动想象，同时信号采集-处理系统采集患者的EEG信号并进行预处理、特征提取、根据有效模型特征识别，识别患者EEG信号的类别，通过TCP/IP协议实时发送给该子系统，控制3D人物左/右手运动，也可作为视觉反馈提供给患者。

图1 基于MI-BCI的手功能康复系统总体结构框图

2 手功能康复系统设计

结合Unity3D技术的手功能康复系统的设计包括离线训练、在线更新训练及虚拟现实在线训练子系统的设计。另外，TCP/IP通信和计时功能的设计参考文献[18]。

2.1 离线训练子系统设计

该子系统较传统离线训练系统添加了手部动作视频[19]，指导患者如何进行左/右手运动想象。

该子系统的一次离线训练过程如下。首先是2 s的黑屏呈现，提示患者休息，2 s结束时黑色图片消失；接着是2 s随机的左手或右手的动作视频呈现，让患者观察手部动作并提示其做好准备，2 s结束时视频消失；最后呈现4 s的与视频中手左右方向一致的箭头(左箭头代表进行左手运动想象，右箭头代表右手运动想象)，患者根据箭头提示进行相应的运动想象任务。同时，信号采集-处理系统采集患者运动想象期间的EEG信号。当本次训练完成后，继续循环以上过程直至达到设置的训练时间，训练结束。图2分别展示手功能康复离线训练过程和传统离线训练过程。

2.2 在线更新训练子系统设计

根据动作观察是运动学习的重要手段之一的理论[20]，该子系统提供7种左/右手动作视频供患者训练选择。动作视频参考临床手功能康复训练动作[21]，包括左右手比OK、手指内收外展、握拳、比数字、拇指对四指、腕掌屈和前臂旋前旋后。

图2 手功能康复离线训练与传统离线训练过程对比

在线更新训练的一次过程如下。首先是2 s的黑屏，提示患者休息，2 s结束时黑屏消失；接着是4 s的随机左/右箭头呈现，提示患者进行相应的运动想象任务。同时，在这4 s内，信号采集-处理系统对患者EEG信号进行采集处理。在4 s结束时，箭头消失，该子系统收到来自信号采集-处理系统的处理结果；接着是4 s结果呈现，该子系统若收到代表左手想象运动的控制命令，则会呈现4 s左手动作视频；若收到代表右手想象运动的控制命令，则会呈现4 s的右手动作视频。继续循环以上过程直至达到设置的训练时间，训练结束。图3为在线更新训练过程。

图3 在线更新训练过程实验范例

2.3 虚拟现实在线训练子系统设计

3Dmax是目前应用最广泛的三维建模、动画、渲染的工具之一，主要应用于游戏开发、角色动画等领域，能够与Unity3D配合流畅[22]。Unity3D结合3Dmax技术设计的虚拟现实在线训练子系统包括以下几个步骤。患者能够通过左右手运动想象实时控制3D人物左右手运动，并根据实时有效的视觉反馈及时调整自身的运动想象方式。

2.3.1 虚拟现实场景和3D人物模型建立

该子系统设计了厨房的训练场景，需要建立的场景模型有橱柜、桌子、椅子、厨具、杯子、碟子模型，这些模型都采用3Dmax中的网格建模方法进行建立。

采用更优秀的Poly建模方法分别建立3D人物的头部、身体、手臂、腿、手和脚模型[23]；接着使用Attach命令将建立的人体各部分模型进行合并，并且在其连接处使用TargetWeld命令进行焊接，这样3D人物网格模型制作完成。

将虚拟现实场景和3D人物模型在3Dmax中展开贴图坐标，根据贴图坐标在PhotoShop中绘制贴图；然后在3Dmax中对这些模型设置合理的材质，将绘制的贴图赋予材质，最终渲染出较逼真的厨房虚拟现实场景和3D人物。

2.3.2 3D人物手部动画制作

制作人物手部动画时，首先要为3D人物模型创建骨骼。3Dmax中的Biped组件是一个基本的人类角色装置，能够用来建立人物骨骼。利用Biped组件根据3D人物模型的大小来建立合适的人物骨骼，包括头部、颈椎、手臂、脊椎、腿、手及脚。特别地，每根手指设为3节使得3D人物的手部能够进行精细运动。

参考2.2中的7种左右手动作，制作左右手动作动画，制作过程如下。首先为3D人物骨骼制作左手关键帧动画，然后对左手关键帧动画进行复制并粘贴到对侧就可得到3D人物右手关键帧动画[24]。按照以上方法制作出7种长度30～80帧不等的左右手帕尔制动画。

为了使3D人物模型随骨骼一起运动，利用Physique组件使骨骼成为模型中的骨架。最后在3Dmax中导出虚拟现实场景模型、3D人物模型及其动画为FBX格式，导入到Unity3D中。

2.3.3 虚拟现实场景布置

对导入Unity3D中的虚拟现实场景模型和3D人物模型利用变换组件进行合理的布置，增加虚拟现实场景的真实感。同时，在该虚拟现实场景中设置3台相机，分别对3D人物的正面、侧面、背面进行拍摄，这样患者可以按照各自的喜好选择3D人物正面、侧面、背面进行训练。

2.3.4 动画控制方式设计

首先在Unity3D中将7种长度30～80帧不等的左右手动作动画分成5帧每段，使得患者能够实时控制人物手部运动；接着将分段后的动画添加到3D人物模型的动画组件中，使3D人物模型与动画相关联；最后调用Animation.Play方法播放动画。图4为虚拟现实在线训练界面，其中，左上为“开始/暂停”等控制按钮；左中为3D人物正面、侧面、背面训练选择按钮；左下为7种训练动作选择按钮。

图4 虚拟现实在线训练界面

3 实验及结果

本文选取5位健康状况良好、平均年龄24岁的志愿者作为被试，进行离线训练、在线更新训练和虚拟现实在线训练实验，初步检验该手功能康复系统的可行性。所有实验都采集了与运动想象相关的15个导联的EEG信号，包括F3、F1、Fz、F2、F4、C5、C3、C1、Cz、C2、C4、C6、P1、Pz、P2，具体的电极分布如图5。

图5 15个运动想象相关导联的电极分布图

3.1 离线训练实验

设置训练时间为400 s，五位被试者分别进行同2.1的离线训练。实验中采集到每位被试者左手与右手运动想象的EEG信号各25组，当计时器时间显示为零时，训练结束。信号采集-处理系统利用文献[25]中的预处理、特征提取、特征识别方法分别对5位被试者的EEG信号分别进行处理(在线更新训练实验和虚拟现实在线训练实验也采用相同的处理)，得出平均反映正确的比例为72%，建立5位被试者各自的识别模型，提供给实验(2)。

3.2 在线更新训练实验

设置训练时间为200 s，选择手指内收外展动作视频，5位被试者分别进行同2.2的在线更新训练。当计时器时间显示为零时，训练结束。训练结束后，信号采集-处理系统分别对采集到的五位被试者的EEG信号进行处理，得出平均反映正确的比例为78%，建立各自的识别模型，提供给虚拟现实在线训练实验。

3.3 虚拟现实在线训练实验

选择3D人物侧面握拳动作训练场景，设置训练时间为150 s。在实验过程中，信号采集处理系统每次处理被试者EEG信号的滑动时间窗口宽度为2 s，并以1 s的步长向前滑动，EEG信号的处理时间为0.2 s，所以实时控制的反应时间为1.2 s，使得被试者能以适当的速度对3D人物进行控制。图6为EEG信号处理的滑动时间窗口与滑动步长示意图。当被试者进行右手握拳运动想象时，其EEG信号类别被信号采集-处理系统识别为右，实时发送给虚拟现实在线训练子系统，控制3D人物进行右手握拳运动。图7为被试者控制3D人物侧面右手握拳场景。当计时器时间显示为零时，训练结束。

图6 EEG信号处理的滑动时间窗口与滑动步长示意图

图7 3D人物侧面右手握拳场景

在实验过程中，离线训练子系统呈现的动作视频，指导被试者如何进行左右手运动想象，最终5位被试者平均反映正确的比例为72%；在线更新训练子系统提供动作视频反馈，使被试者及时调节运动想象方式，5位被试者平均反映正确的比例为78%，较离线训练提高6%，因此在线更新训练子系统能够提供更有效的识别模型；虚拟现实在线训练子系统建立的较逼真的训练环境和提供有效的视觉反馈，提高被试者的积极性；TCP/IP通信功能和计时功能正常。实验表明，该康复系统具有可行性。

4 结论

本文利用Unity3D开发的系统是一个具有多层次训练方式的较完整规范的手功能康复系统。该系统能够根据患者的病情选择不同的手功能康复训练动作、设置训练时间、根据患者的喜好选择3D人物训练角度，实现个性化训练。添加的手部动作视频有利于运动记忆的形成从而促进运动学习。结合虚拟现实技术能够提高患者训练的积极性。提供有效的视觉反馈，让患者不断调整自身的状态产生更易识别的EEG信号，促进人类大脑对计算机的适应性。结合MI-BCI技术，不仅节省人力物力、更具安全性，还能使患者主动参与康复训练并促进其中枢神经的重塑，有望提升手功能康复效果。该系统还具有操作简单、界面友好等特点，为手功能康复训练的家庭化奠定基础。

[1]贾杰.脑卒中后手功能康复现状[J].老年医学与保健,2015, 21(3):129-131.

[2]Plantin J,Laurencikas E,Lindberg P,et al.Biomarkers for prediction of hand function after stroke:The ProHand study protocol[J].J Neurologic Sci,2013,333(Suppl 1):555-556.

[3]逄锦熙,倪克锋.脑卒中后手功能障碍的康复治疗进展[J].中国现代医生,2015,53(13):143-146.

[4]周冰,刘佳,郭玉玲.针刺疗法与运动想象联合治疗脑卒中致上肢功能障碍临床观察[J].中西医结合心脑血管病杂志, 2012,10(5):555-556.

[5]吴群英,张萍.冷疗技术在脑卒中偏瘫患者上肢及手功能训练中的效果观察[J].当代护士旬刊,2011(5):20-21.

[6]王国宝,鲍勇,丁旭,等.功能性电刺激对脑卒中肢体运动功能康复的作用及进展[J].中国康复,2012,27(5):372-375.

[7]张文,陆廷仁,王美芬,等.作业治疗在脑卒中偏瘫患者康复中的疗效[J].上海第二医科大学学报,2004,24(6):472-473.

[8]夏隽晖,夏文广,郑婵娟,等.作业治疗对脑卒中后肩手综合征的疗效观察[J].中国康复,2013,28(6):454-455.

[9]彭宪星,亓云玲,刘芹.运动疗法对脑卒中患者肌张力的影响作用[J].中国实用医刊,2016,43(5):20-21.

[10]苏志源.中医治疗脑卒中[J].中国中医药咨询,2012,4(1): 243.

[11]Mattia D,Pichiorri F,Molinari M,et al.Brain computer interface for hand motor function restoration and rehabilitation[M]//Allison B.Towards Practical Brain-Computer Interfaces.Berlin:Springer Berlin Heidelberg,2012:131-153.

[12]Zhang H,Liang J,Liu Y,et al.An Iterative Method for Classifying Stroke Subjects'Motor Imagery EEG Data in the BCI-FES Rehabilitation Training System[C].Foundations and Practical Applications of Cognitive Systems and Information Processing,2014:363-373.

[13]刘小燮,毕胜,高小榕,等.基于运动想象的脑机交互康复训练新技术对大脑可塑性的影响[J].中国康复医学杂志,2015,28 (2):97-102.

[14]崔尧,丛芳,刘霖.镜像神经元系统的基本理论及其在运动功能康复中的意义[J].中国康复理论与实践,2012,18(3): 239-243.

[15]Stefan K.Formation of a motor memory by action observation[J].J Neurosci,2005,25(41):9339-9346.

[16]翟艺,徐秀林.基于虚拟现实技术的上肢康复系统的发展现状[J].中国康复理论与实践,2014,20(10):908-910.

[17]朱惠娟.基于Unity3D的虚拟漫游系统[J].计算机系统应用,2012,21(10):36-39.

[18]Yang B,Zhang T,Duan K.Development of a BCI Simulated Application System Based on Unity3D[C].2015 International Conference on Virtual Reality and Visualization(ICVRV). IEEE Computer Society,2015:277-280.

[19]Ron-Angevin R,Díaz-Estrella A.Brain-computer interface: Changes in performance using virtual reality techniques[J]. Neurosci Lett,2009,449(2):123-127.

[20]Tchernichovski O,Wallman J.Neurons of imitation[J].Nature,2008,451(17):249-250.

[21]张凯.沉浸式三维虚拟漫游技术研究[J].长春理工大学学报(自然科学版),2016,39(1):104-106.

[22]刘雁,王建军.浅谈3Dmax在人头建模中的方法与技巧[J].电子世界,2014(15):106.

[23]向玉玲.3DMax中角色动画技术[J].计算机光盘软件与应用,2011(17):139.

[24]唐朝正,丁政,李春燕,等.运动想象结合任务导向训练对慢性期脑卒中患者上肢功能影响的随机对照研究[J].中华物理医学与康复杂志,2014,36(11):495-499.

[25]Yang B,He L.Removal of ocular artifacts from EEG signals using ICA-RLS in BCI[C].IEEE Workshop on Electronics, Computer andApplications,2014:544-547.

Development of Hand Function Rehabilitation System Based on Motor Imagery Brain-computer Interface

ZHANG Tao,YANG Bang-hua,DUAN Kai-wen,TANG Jian-zhen,HAN Xu
Department of Automation,College of Mechatronics Engineering and Automation,Shanghai University,Shanghai 200072,China

YANG Bang-hua.E-mail:yangbanghua@shu.edu.cn

This paper introduced a hand function rehabilitation system based on motor imagery(MI)brain-computer interface for hand function rehabilitation of stroke patients.The rehabilitation system contains three subsystems.Offline training subsystem displays the blank screen,a left or right hand movement video and arrow in turn,which respectively reminders patients to rest and make preparations for MI and instruct them how to do MI,and be doing MI.Finally,the patients'electroephalography(EEG)signals are acquired and processed to generate a recognition model.Model update online training subsystem presents the black screen and a left or right arrow,the meanings of which are the same as those in offline training subsystem.Then the acquired EEG signals are analyzed according to the established recognition model.Next,the analysis result is derived to control the hand movement video to be played.The video can also act as a visual feedback, which makes patients'EEG signals easier to be recognized.The updated and more effective recognition model is built at last.Virtual reality (VR)online training subsystem constructs 3D grid models of VR scene,a 3D man model and its hand animations in the 3Dmax.Then,all of them are imported into Unity3D.The control methods of the animations are also designed in Unity3D.In the end,the patients'EEG signals are analyzed according to the updated recognition model,thus controlling the hand movements of the 3D man in real time.The developed system has many characteristics,such as multilevel training and more immersion,which hopefully promotes the plasticity of central nervous system.The designed system provides new treatments for post-stroke hand function rehabilitation and further lays the foundation for family-mode rehabilitation.

brain-computer interface;motor imagery;stroke;hand function;rehabilitation;virtual reality

10.3969/j.issn.1006-9771.2017.01.002

R496

A

1006-9771(2017)01-0004-06

2016-04-27

2016-06-03)

国家自然科学基金青年基金项目(No.31100709)。

上海大学机电工程与自动化学院自动化系，上海市200072。作者简介：张桃(1992-)，女，汉族，江苏江阴市人，硕士研究生，主要研究方向：脑机接口与脑卒中后手功能康复。通讯作者：杨帮华，女，博士，研究员。E-mail:yangbanghua@shu.edu.cn。