张泰略，李晋川，邱 越，张腾宇

（1.四川大学建筑与环境学院力学系，成都610065；2.国家康复辅具研究中心，北京市老年功能障碍康复辅助技术重点实验室，民政部神经功能信息与康复工程重点实验室，北京100176）

0 引言

我国人口基数大，因各种原因导致残疾的患者总量已超8 500 万，其中肢体残疾人数近2 500 万[1]。肢体残疾的患者中有相当多一部分需要进行截肢，截肢对患者生理和心理上都会产生巨大的影响，而安装假肢可以在一定程度上改善患者术后的运动机能，帮助患者术后心理重建，大大改善患者的生存质量。

最早出现的假肢只具有装饰性，而如今市面上存在各式的功能性假肢，其中能够满足像伸膝、握手等主动控制动作的功能性假肢也叫主动型假肢[2]。主动型假肢可以读取患者残肢附近的肌电信号[3]，根据患者残留肌肉发出的肌电信号，经过一定时间的适应性训练，使患者恢复一些生活必需的简单活动，例如手掌的抓握、手腕的旋转等动作。但主动型假肢动作分类器的性能容易受到肌肉疲劳、电极位置变化、力度变化等因素的影响，导致其实用性和稳定性不能满足临床应用的要求[4]。同时研究者们也意识到单一肌电信号在控制中的局限性及增加信号来源的重要性。2001 年，Curcie 等[5]通过分析前臂肌肉运动时的压力信号，将压力与肌电信号进行联合作为控制信号。2011 年，Herrmann 等[6]发现截肢者残肢运动时周围的近红外信号也能够作为控制识别辅助信号，通过与截肢者的肌电信号联合，成功实现手部动作的识别和假肢控制。2015 年，Fang 等[7]则结合当前语音人工智能，添加语音识别信号作为肌电信号的辅助信号，提高了假肢的控制实用性和交互控制成功率。

本研究在识别肌电信号的基础上，寻找特定动作相关的脑电信号以作为辅助识别信号，并将其添加到识别模型中，从而提高动作识别率，缩短患者在训练中消耗的时间，达到优化控制模式的目的。

1 研究方法

1.1 预实验

在实验前，首先需要确定患者在进行行为控制时脑电信号与肌电信号之间是否存在明显联系，所以本研究首先通过预实验进行验证。

实验地点选在民政部直属的国家康复辅具研究中心。选择5 位符合实验要求的截肢患者作为研究对象（选取标准：截肢断面完整度高，大脑无疾病，沟通交流无障碍）；实验采用在截肢或瘫痪患者中最为广泛使用的运动想象法。预实验流程如图1 所示。

图1 预实验流程

经过预实验的探索发现，不同截肢类型（即实验中做不同想象动作）患者的脑电信号特征共性很少，即使截肢类型相同，但是由于截肢时长、肌肉的受损情况、残肢长度等因素不同而导致每个参加实验个体之间的肌电信号差异性很强，各类截肢情况的差异如图2 所示。

患者肌电信号的特异性强，导致通过信号来源构建的动作分类模式存在个体差异性，这样就会使得针对每个患者的识别模型只能由患者本人使用。同时，假肢产品本身就存在特异性与定制性的特点，有“一机一人”的对应关系。因此最终确定的正式实验方案如下：挑选一位最符合脑-肌电信号采集要求的截肢患者，对其特定想象动作进行多次反复的提取，以构建专属于该患者的肌电控制、脑-肌电控制2 个模型，通过对识别率等结果的对比得出研究结论。

图2 预实验中部分患者的截肢情况

1.2 正式实验

1.2.1 实验对象

实验地点选择在民政部直属的国家康复辅具研究中心。为采集较为完整的肌电信号，理想实验对象应是截肢时间不长、截肢创面尽量完整（即未因较严重的机械创伤导致肌肉移位）且截肢末端仍有较强的运动能力、对健康时的动作记忆仍有印象的患者。

本着患者自愿对科学研究支持的原则，经对多名截肢患者的筛选，最终选择患者Z 作为实验对象。原因如下：Z 于2018 年12 月因车祸导致冻伤，造成左小腿截肢（膝关节完好，踝关节缺失）。因为冻伤不涉及机械损伤，患者截肢面完整，且截肢时间合适、肌肉存留良好、活动能力较强，是适合的实验对象。

1.2.2 实验方法

肌电信号采集使用动态采集仪（Biometric Ltd，DataLog MWX8），放大倍数500 倍，采样率1 000 Hz，A/D 转换精度14 bit，支持8 路模拟信号同时采集并输出至配套分析软件。

脑电信号采集使用Compumedics Neuroscan 采集系统，同时使用SynAmps 设备保证与播放动作提示的计算机同步，起到对脑电信号做标记的效果[8]。

患者截肢已5 个多月，小腿膝关节以下有强烈“幻肢感”，但是动作细节的记忆已经不深刻，于是用2 d 时间让患者照着演示的动作进行想象动作训练，熟悉实验流程。同时记录其肌电信号，待肌电信号训练至趋于稳定时即满足实验要求，可以开始正式实验。

实验方法仍然采用与预实验一致的运动想象法，针对该患者左侧膝关节以下截肢1/2 的情况，设计其想象动作为内旋、外旋、跖屈、背伸4 个动作（如图3 所示），分别对应显示器上显示的→、←、↑、↓4个箭头符号；显示器屏幕空白对应患者放松状态，显示器上显示“+”对应患者注意力集中状态。

图3 实验中的4 个动作

使用贴片电极采集患者的腓肠肌、胫骨前肌、腓骨长肌3 块相关肌肉的肌电信号，使用32 导联的脑电帽上的头皮表面电极采集患者的脑电信号[9]。

每次实验共20次动作（每个动作5 次），为避免患者的记忆影响实验结果，动作出现的顺序完全随机，在患者根据前方显示器做想象动作时，同步采集患者的脑电和肌电信号。实验流程如图4 所示（以背伸为例的一个动作周期）。

图4 运动想象实验流程

对同一患者共进行了5 组实验（每天1 组，共5 d），每组包含6 次实验，在只有4 类动作的情况下共采集了600 次，能够满足机器学习分类的要求。

实验过程中应尽量保持实验环境的安静，使得患者的注意力集中，保证脑电信号采集的有效性，如图5 所示。

图5 正式实验场景

1.2.3 数据处理

1.2.3.1 肌电信号处理与分析

采集到的肌电信号实验数据以ASCII码的形式保存在txt文件中，因肌电信号的标志无法与患者的动作做到完全同步，需要进行预处理。将想象动作实验软件每次实验结束保存的实验流程信息与原始肌电信号结合，可以还原整个实验过程中动作的标记与分段。本研究考虑自行设计程序来实现肌电信号的分段与精确提取，具体如下：

（1）去表头：由于原始肌电实验数据自动保存时带有表头，应将前6 行删除达到去表头的目的。

（2）纯肌电数据做带通滤波处理：5～300 Hz 带通滤波只保留属于肌电的频段，50 Hz 陷波消除工频耦合干扰。

（3）根据标志文件提取动作标志位置（label 信息）：标志文件由运动想象软件提供，同样需要进行数据的挖掘和提取。

（4）肌电动作的精确分割：由前面得到的纯肌电数据和第三步得到的label 信息使用移动窗口法将肌电信号精确分割出来。

（5）提取特征值：从时域特征和频域特征中选取6个特征值，分别是中值频率（median frequency，MF）、方差（variance，VAR）、标准差（standard deviation，STD）、积分肌电值（integrated electromyogram，IEMG）、均方根值（root mean square，RMS）、平均功率频率（mean power frequency，MPF），将提取到的特征值归一化用于学习分类[8]。

采用Python 语言编写的分割脚本完成对肌电信号600 个动作段数据的自动分割，部分动作段的分割结果如图6 所示。

1.2.3.2 脑电信号处理与分析

（1）去眼电等噪声：0.5～45 Hz 带通滤波，然后使用独立成分分析（independent component correlation algorithm，ICA）方法去眼电、心电、工频产生的伪迹[10]。

（2）脑电分割：由于采集软件支持动作标识，可以直接将各个动作分割。

（3）选取需要的导联：脑电信号采集一共32 路导联，全部处理不但工作量繁重，而且非相关导联会对识别结果产生干扰。根据Brodmann 的理论，C3、C4 电极靠近初级运动皮层，CZ 电极靠近前运动皮层和辅助运动区，因此C3、C4 及CZ 3 个导联与运动想象动作的相关性最大[11]，选取为分析对象导联。

（4）提取特征值：将上述步骤获取到的脑电动作信号做相关特征值的提取，由于脑电信号属于非平稳性信号，所以考虑提取小波熵（wavelet entropy，WE）、近似熵（approximate entropy，ApEn）和样本熵（sample entropy，SampEn）作为分类学习的特征值[12-14]。

因为本研究的识别模式最终需应用于智能假肢，所以需要考虑便携式设备的算力并提高识别精度（减少无关或者负相关特征值的干扰），在提取到特征值后应做一次特征值的优选，计算各个特征值之间的相关性，用Kendall 相关性系数进行表征。详见表1。

图6 由分段动作分割算法精准提取的背伸动作肌电信号（部分）

表1 各特征值之间的Kendall 相关性系数

综合考虑，发现7 种特征值搭配能获得比较好的相关性，详见表2。由表2 可知，肌电信号中RMS、MF、VAR 特征与脑电信号中的SampEn 特征组合综合识别率（平均识别率）最高，因此采用SampEn+RMS+MF+VAR 组合进行脑-肌电信号的分类学习。

表2 几种特征值组合的识别结果%

2 结果

2.1 BP 神经网络分类学习

BP 神经网络[6]是基于误差反传的概念，其基本思想如下：如果网络的输出有错，则将网络的权值进行调整以便使今后网络的输出朝小的方向发展，使输出结果接近期望值。多层感知器的误差反传学习算法包括两大步骤：（1）输入正向传播过程；（2）输出误差反向传播过程。权值不断调整的过程，也就是网络的学习训练过程[15]。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止[16]。

而遗传算法在求解时具有强全局搜索能力，能够与神经网络处理模糊问题的能力结合起来，巧妙地解决了神经网络容易陷入局部最优的缺点，并且显著加快了问题求解的收敛速度[17-18]。

将优选得到的特征值序列用于基于遗传算法的BP 神经网络进行机器学习，600 组数据中的70%为训练组，30%为回归测试组，得到3 种信号组合的识别率，详见表3。

表3 实验数据训练结果（不同识别模式的动作识别率）%

2.2 纠错、再处理

由识别结果可知，单一肌电信号的综合识别率为75.025%，单一脑电信号的综合识别率为46.625%，脑-肌电信号结合的综合识别率为82.025%，虽然通过增加脑电信号使得识别率提高，但是识别效果仍然不理想，尤其是外旋与内旋的识别率明显低于跖屈和背伸。

通过与患者沟通及对学习结果数据分析可知，由于患者在截肢之后长时间不做外旋和内旋等相关动作，对这类动作的肌肉记忆已有一定程度的模糊，每次做内、外旋时总是会不由自主地跖屈和背伸，从而导致内、外旋被错误识别为跖屈和背伸。但相比于真正的跖屈和背伸动作，这种情况下分类器得到识别结果为内、外旋的概率相对较大，根据这一规律，改进了分类判断算法，将此类情况分类为内、外旋。

经过算法改进后，脑-肌电信号在BP 神经网络学习后的识别率达到了95.5%（跖屈）、97.7%（背伸）、74.5%（外旋）和83.2%（内旋），内、外旋动作相比人工纠错之前分别提高了6.1%与16.7%，神经网络综合识别率达到了87.725%。

3 结语

本研究从假设增加识别信号源数量能提升识别率的角度切入，寻找符合实验需求的患者并对其进行大量的实验数据采集。考虑到识别模型最终应用的环境，优化了多余的脑电导联与信号特征值，使用基于遗传算法优化的BP 神经网络对处理过的动作信号进行分类，单一肌电信号综合识别率为75.025%，加入脑电信号数据后综合识别率上升到了82.025%，同时结合患者实际情况改进判断算法纠错后使得模型的综合识别率达到87.725%。将脑电这类间接与动作有关联的信号作为辅助识别信号加入到识别信号序列当中，具有提升识别率的效果。

但本研究仍然存在一定的局限性，如：（1）最终正式实验选择的患者数量只有一个，虽然对同一患者采集了大量的实验数据，但是仍然不能完全排除偶然性对实验结果的影响；（2）使用神经网络构建的识别模型仅仅存在于计算机内，未能将其成功搭建于体外硬件并进行患者回归测试，仍然处于理论研究阶段；（3）BP 神经网络属于比较陈旧的分类方法，尤其是时序信号分类有一定局限性，在后续的研究中将考虑使用更加适合时序信号的分类算法，并扩充实验对象和数据量，将模型嵌入到物理硬件设备中。

综上所述，本研究通过对截肢患者在想象运动中的脑-肌电信号的研究，提出了一种脑电信号、肌电信号相结合用于动作识别的方法。实验结果表明，将患者残肢运动所对应的大脑活跃区域的脑电信号作为一种辅助信号用于训练与识别，可以达到提高识别精度与缩短训练时间的目的。