潘红光 张奇 米文毓 马彪

摘要：随着脑机接口技术的发展，该技术在残疾人肢体功能恢复等方面应用越来越广泛。首先，在简介经典单关节信息传输模型基础上，设计并训练基于长短期记忆网络的解码器，代替原有脊椎电路通路将大脑信号传递给假肢;其次，为了在感觉反馈通路缺失时，仍能准确地恢复肢体运动功能，结合基于无模型控制策略设计的辅助控制器，构建闭环脑机接口系统，实现恢复关节活动障碍者缺失的感觉反馈通路从而实现跟踪期望轨迹的目的。由仿真可知，基于长短期记忆网络设计的解码器的离线解码效果良好。构建的闭环脑机接口系统对期望轨迹的跟踪以及缺失信息通路的恢复的结果验证了无模型控制辅助控制器良好的控制性能以及构建的闭环脑机接口系统的有效性。

关键词：闭环脑机接口;解码器;长短期记忆网络;无模型控制

中图分类号：TP 13

文献标志码：A

文章编号：1672 -9315 （2019）06 -1057 -08

DOI：10. 13800/j.cnki.xakjdxxb. 2019. 0619 开放科学（资源服务）标识码（OSID）：

收稿日期：2019 -04 - 22

责任编辑：高佳

基金项目：国家自然科学基金（61603295）;中国博士后基金（2017 M623207）;陕西省自然科学基础研究计划（2018JM6003）;西安科技大学优秀青年科技基金（2018YQ2 - 07）

通信作者：潘红光（1983 -），男，山东临沂人，博士，讲师，E-mail：hongguangpan@1 63.com

0 引言

脑机接口（ Brain-Machine Interface，BMI）技术近年来发展异常迅速[1-2]。BMI技术能够通过采集人脑的电信号直接完成对输出设备的操控，实现功能障碍者与外界的交流，从而提供了一种改善功能障碍者生活质量的途径[3]。其在医疗领域如残疾人肢体功能恢复，生活领域如老年人生活辅助等方面应用也越来越广泛[4-5]。BMI系统主要组成部分为：解码器、编码器（本质均为数学模型）和大脑皮层神经元活动的量测。其中，解码器用于提取与任务相关的运动意图;编码器则将与运动相关的感知信息反馈到大脑。故BMI、大脑和假肢器官（如假臂）三者可构成闭环的BMI系统，如图1所示。

目前针对BMI系统解码器已有大量的研究。例如Coblu，孙京浩等人基于维纳滤波和速度衰减卡尔曼滤波设计的解码器，可以从连续的放电尖峰序列中解码出速度、位置等信息[6-7];Shanechi等人设计一个闭环的点过程过滤解码器，可以研究反馈率和控制率对大脑控制连续BMI运动的影响（控制率表示从大脑向假体发送运动命令的频率，反馈率表示向对象提供假体的视觉反馈的频率）[8];潘家辉等人从多方面对P300成分进行特征提取，并采用贝叶斯线性判别分析的方法进行模式分类[9]。但是在上述解码器中都未曾考虑脑电信号与时序的相关性。而脑电信号是一个动态的时间序列并且其控制的外部设备（如假肢）的运动过程也是渐变的。而长短期记忆网络（ LongShort-Term Memorv，LSTM）适合处理与时间序列高度相关的问题，并且在学习新信息的同时保持历史信息持久化，因此基于LSTM网络设计BMI系统解码器，以期获得更好的解码效果。

近年来，针对BMI系統的研究已取得广泛的进展，例如Wodlinger等人同时从植入受试者左侧运动皮层的2个96通道皮质内电极阵列中提取手形指令，实现被试者多自由度控制假肢[IO]。Hong和Orsborn等人引入视觉反馈，证明闭环BMI系统较开环BMI系统拥有更好的可靠性以及执行效率‘“-12]。Hortal和Abdullah等通过支持向量机和神经网络对脑电图（ electroencephalogram，EEG）信号进行分类作为控制指令驱动外部设备[13 -14]。

基于Bullock等人提出的单关节信息传输（ Single-Joint Information Transmission， SJIT）模型，设计基于LSTM网络的解码器来表征放电信号与肢体运动的非线性关系，并通过SJIT模型生成大量训练和测试数据，来训练、测试解码器;此外，为了在感觉反馈通路缺失时，仍能准确地恢复肢体运动功能，在设计长短期记忆网络解码器的基础上，结合数据驱动的无模型控制（ Model-Free Con-trol，MFC）策略设计的辅助控制器构造闭环BMI系统恢复关节活动障碍者缺失的感觉反馈通路从而实现跟踪期望轨迹的目的。

1 SJIT模型简介

Bullock等提出的SJIT模型[15]，如图2所示。在模型中，GO为可变幅门信号，各神经元组分别表示如下：DVV为期望速度向量（Desired VelocityVector，DVV），OPV为输出位置向量（Outflow Posi-tion Vector，OPV），OFPV为输出力和位置向量（ Outflow Force and Position Vector， OFPV）， SFV为静态力向量（ Static Force Vector，SFV），IFV为惯性力向量（ Inertial Force Vector，IFV），PPV为感知到的位置向量（ Perceived Position Vector，PPV），DV

2 基于LSTM网络设计的解码器

对于健康的人而言，本身拥有一个完整的信息回路，如图2所示，大脑区域4的DVV，OPV及OFPV神经元组通过脊椎电路来传递肢体运动的指令，由感觉反馈部分进行反馈。然而对于关节活动障碍者而言，脊椎电路通路缺失，无法完成上述信息流闭环。因此则需要解码器来恢复脊椎电路通路，即用解码器来代替原有脊椎电路通路将大脑信号传递给假肢[16 -18]。

2.1 解码器设计

LSTM网络由Hochreiter S和Schmidhuber J在1997年提出，是为解决循环神经网络（ RecurrentNeural Networks，RNN）“长距离依赖”问题的一种改进算法[19 -20]。LSTM的细胞单元结构如图3所示。

LSTM的细胞单元在RNN的基础上加入了有3个门，分别是输入门（ InputGate），遗忘门（ForgetGate），输出门（Output Cate）。输入门用来控制信息输入，决定有多少将添加到记忆信息中;遗忘门用来控制细胞历史状态信息的保留，激活函数σf，使得遗忘门的输出值在[0，1]之间，当遗忘门输出接近0时的时候，表示将上一状态的信息丢弃越多，接近1的时候，表示上一状态的信息保留越多;输出门用来控制信息输出，决定多少记忆信息被用于下一阶段的更新中。

2.2 数据生成及其离线测试

基于LSTM网络设计的解码器，其中的参数需要大量的数据训练来得到，所以此处利用SJIT模型生成大量的训练数据以及测试数据，如图2所示，利用式（1）～（13）来构建模型生成大脑皮层神经元放电平均放电率、主动肌与对抗肌的合力差、臂部的速度、位置以及关节转矩等数据。生成的训练数据是对臂部关节的伸展任务进行了共计1 600次模拟仿真，在每次臂部关节的伸展时，以采样时间0.01s对大脑区域4各神经元组（DVV，OPV及OFPV）、主动肌神经元组以及被动肌神经元组的平均放电活动进行采样，主动肌与对抗肌的合力差AM（t） =M（ci（t），pi（t）） -M（cj（t），pJ（t））也被采样记录。因为每次模拟臂部关节的伸展耗时约为3s，所以经过上述1 600次的模拟，可以得到共计480 000组的数据。文中，选取前470 000组数据进行训练，后10 000组数据进行测试。以下为具体变量和参数的设置：

选取10 000组测试数据中[2 000，3 000]组的数据展示仿真结果，离线测试结果如图4所示，由于测试数据通过采样得到，是离散化数据，所以采用AM（k）表示，其中实红线表示实际的AM（k），蓝点画线表示离线解码的AM（k），并引入均方根误差评价指标（RMSE），作为解码器的评价指标。式中 AM（k）为实际数据，即SJIT模型的采集的合力差，AM（k）为解码数据。LSTM网络设计的解码器的均方根误差值为4.3×10，表明LSTM网络设计的解码器良好的解码效果。

3 闭环BMI系统构建

感觉反馈通路缺失时，仅仅通过基于LSTM网络设计解码器难以准确恢复肢体运动功能[15-17，22-23]。所以通过设计解码器以及MFC辅助控制器，构造闭环BMI系统跟踪期望轨迹达到恢复肢体运动功能的目的。其中，期望轨迹为基于SJIT模型在加入解码器情况下跟踪目标所产生的神经元组PPV的平均放电率xi（t），如图5所示。注意，文中人工反馈设计中没有补偿IFV和SFV神经元组的反馈信息。

3.1 辅助控制器设计

无模型控制（MFC）是一种只依赖于系统的输入输出数据，不依赖于被控系统模型的自适应控制方法，并且不需要复杂的人工控制器参数整定[24-25]。选取控制输入准则函数如下

验证构建的闭环BMI系统有效性：采用构建的闭环BMI系统与SJIT模型进行比较。各参数选取同上。仿真结果如圖8所示，红实线为SJIT模型的输出轨迹，蓝点画线为文中构建的闭环BMI系统的输出轨迹，图9为恢复轨迹的相对误差。由仿真结果可知，恢复轨迹的相对误差最大值不超过3%，说明文中设计闭环BMI系统恢复了手臂的运动功能，证明构建的闭环BMI系统的有效性。

5 结论

1）考虑脑电信号与时间序列存在相关性，提出基于LSTM网络设计并训练解码器，以此来恢复脊椎功能障碍者缺失的信息通路。

2）通过设计的解码器并且结合基于MFC策略设计辅助控制器构建的闭环BMI系统实现感觉反馈通路的恢复以及目标轨迹的跟踪。

3）仿真结果证明，基于LSTM网络设计的解码器离线、在线效果良好，基于MFC策略构建的闭环BMI系统可实现对期望轨迹的跟踪及缺失信息通路的恢复。

参考文献（ References）：

[1]

Pan H G，Ding B C，Zhong W， et al.Designing closed-loop brain-machine interfaces with network of spikingneurons using MPC strategy[Cl//American ControlConference. IEEE， 2016： 2543 - 2548.

[2]

Iturrate I， Antelis J M， Kubler A，et al.A noninvasivebrain-actuated wheelchair based on a P300 neurophysio-logical protocoland automated navigation[J].IEEE Transactions on Robotics， 2009， 25（3）：614 - 627.

[3] 琚芬，赵晨光，袁华，等.脑机接口在康复医学中的应用进展[J].中国康复，2017 ，32（6）：508 - 511.

JU Fen ，ZHAO Chen-guang， YUAN Hua， et al.Applica-tion progress of brain-computer interface in rehabilita-tion medicine[J].China Re-habilitation， 2017， 32（6）：508 - 511.

[4] Shi M H，Zhou C L，Xie J， et al.Electroencephalogram-based brain-computer interface for the Chinese spellingsystem：a survey[J].Frontiers of Information Technolo-gy&Electronic Engineering， 2018， 19（3）：423 - 436.

[5] Suyama T.A network-type brain-machine interface tosupport activities of daily living[ J] . Ieice Transactionson Communications ， 2016 ， 99 （ 9） ： 1930 - 1937.

[6] 孫京诰，戚川，潘gi光.基于数据驱动的闭环脑机 接口设计[ J] .华东理I大学学报 （自然科学版） ，2017 ，43 （ 5） ：655 - 661.

SUN Jing-hao， QI Chuan， PAN Hong-guang. Design ofclosed-loop brain-machine interface based on data-driv-en[ J] . Journal of East China University of Science andTechnology （ Natural Science Edition ） ， 2017 ， 43 （ 5 ） ：655 - 661.

[7]

Golub M D ， Yu B M ， Schwartz A B ， et al. Motor corticalcontrol of movement speed with implications for brain-machine interface control[ J ] . Joumal of Neurophysiolo-gy ，2014 ，112 （ 2） ：411 - 429.

[8]

Shanechi M M， Orsborn A L ， Moorman H C， et al. Rapidcontrol and feedback rates enhance neuroprosthetic con-trol[ J] . Nature Communications ， 2017 （ 8） ： 13825.

[9]潘家辉，冯宝，脑机接口中脑电信号的特征提取和模式分类 [J] . 计算机系统应用 ， 2015 ， 24 （ 8） ： 268 - 272.

PAN Jia-hui， FENG Bao. Feature extraction and patternclassification of EEG signals in brain-machine interface[J] . Computer System Applications ， 2015 ， 24 （ 8 ） ： 268 - 272.

[10]

Wodlinger B ， Downey J E ， Tyler-Kabara E C ， et al. Ten-dimensional anthropomorphic arm control in a humanbrain？ machine interface ： difficulties ， solutions ， and lim- itations [J]. Journal of Neural Engineering， 2015 ， 12（1） ：016011.

[11] Hong Z， Yanxin W， Changcheng W， et al. Closed-loophybrid gazebrain-machine interface based robotic armcontrol with augmented reality feedback [ J ] . Frontiers inNeurorobotics ， 2017 ， 11 （ 60） ： 60 - 73.

[12] Orsborn A. Closed-loop design of brain-machine inter-face systems[D] . Berkeley San Francisco ： University ofCalifornia-Berkeley ， 2013 .

[13]

Hortal E ， Planelles D ， Costa A ， et al. SVM-based brain-machine interface for controlling a robot arm throughfour mental tasks [J] . Neurocomputing ， 2015 ， 151 ： 116 - 121.

[14]

Abdullah， Subari， Loong， et al. Analysis of effectivechannel placement for an EEG-based biometric system[ C l//Biomedical Engineering & Sciences. IEEE，2011：303 - 306.

[15] Bullock D， Cisek P， Crossberg S. Cortical networks forcontrol of voluntary arm movements under variable forceconditions[ J] . Cerebral Cortex ， 1998 ， 8 （ 1） ：48 - 62.

[16] Kumar G， Schieber M H， Thakor N V， et al. Designing closed-loop brain-machine interfacesusing optimal rece-ding horizoncontrol[ C ] //American Control Conference.IEEE ，2013 ：5029 - 5034.

[17]

Dangi S， Gowda S， Heliot R， et al. Adaptive kalman fil-tering for closed-loop brain-machine interface systems[C]//International IEEE/EMBS Conference on NeuralEngineering. IEEE ， 2011 ： 609 - 612.

[18] Sussillo D， Nuyujukian P， Fan J M， et al. A recurrentneural network for closed-loop intracortical brain ma-chine interface decoders [J] . Journal of Neural Engi-neering，2012 ，9 （ 2） ：026027.

[19]

Hochreiter S， Schmidhuber J. Long short-term memory[J] . Neural Computation ， 1997 ，9 （ 8） ：1735 - 1780.

[20]

Gao L ， Zhao C，Zhang H W ， et al. Video captioning withattention-based LSTM and semantic consistency [J] .IEEE Transactions on Multimedia ， 2017 ，9 （ 19） ： 2045 -2055.

[21]李偉山，王琳，卫晨. LSTM在煤矿斯预测预警系统中的应用与设计[J] .西安科技报 ，2018 （ 6） ：1027 -1035.

LI Wei-shan， WANG Lin， WEI Chen. Application anddesign of LSTM in coal mine gas prediction and warningsystem [ J ] . Journal of Xi ' an University of Science and Technology，2018 （6） ：1027 - 1035.

[22] Hong Z， Yanxin W， Changcheng W， et al. Closed-loophybrid gaze brain-machine interface based robotic armcontrol with augmented reality feedback [ J ] . Frontiers inNeurorobotics ，2017 ， 11 ：60 - 73.

[23]潘红光 ，米文毓 ，邓军，等，进节信息传关输模型的闭环脑机接口系统设计[ J/OL ] .控制理论与应用 ，2019 - 06 - 11.

PAN Hong-guang ， MI Wen-yu ， DENG Jun ， et al. Closed-loop brain-machine interface system design based on im-proved single-joint information transmission model [J/OL] . Control Theory & Application ， 2019 - 06 - 11.

[24]

Hou Z ， Huang W. The model-free leaming adaptive con-trol of a class of nonlinear discrete-time systems[ J ] . IF-AC Proceedings Volumes ，1998 ，15 （6） ： 893 - 899.

[25]

Li M ， Branson D， Jian S D， et al. Model-free control forcontinuum robots based on an adaptive kalman filter[J] . IEEE/ASME Transactions on Mechatronics ， 2018 ，1（23） ：286 - 297.