胡超 高雨

（天津工业大学电气与电子工程学院 天津 300387）

0 引言

在当前人机交互领域，手势识别主要为依赖视觉识别和穿戴设备识别，视觉识别对可视角度和光线环境要求较高，当前可穿戴设备如基于加速度和超声波设备成果较高且系统复杂等缺点，而创新型使用EIT技术结合深度学习网络的智能手势识别有着结构简单小巧，非入侵，无损伤，识别率快等优点。

1 手势识别系统原理

EIT是一种无创的以人体内部的电阻率分布为目标的重建体内组织图象的技术，因其安全性和非入侵性，广泛应用在医学监测上，监测肺部和血管中血流量等。本文中通过施加激励电流来测量横截面内部阻抗并且推断相应的结构，完成内部结构的重构。本系统中，用户佩戴均匀分布电极的布带于手腕部，做出手势时，腕部肌肉横截面形状和阻抗分布会产生变化，利用电阻抗层析技术（EIT）测量手腕周围的内部阻抗分布，并且将采集到的信号进行相应的滤波等处理，通过串口USB传输到上位机处理和分析，并作为手势分类的数据集，并将特征数据送入CNN进行训练，上位机显示得到与特征数据相匹配的手势。

2 系统总体设计

系统总体设计由电极传感器、数据采集模块、数据处理以及上位机部分组成。传感器阵列放置在皮肤表面，通过循环施加激励电流源作用在铜电极传感器上，采集到腕部肌肉群附近的电势，不同的手势会激活横截面不同的肌肉群，通过连续循环采集到的实验数据送入CNN网络模型进行手势分类，在上位机部分我们同样设计了基于Matlab的数据采集软件操作界面，可以直接通过上位机控制数据采集，保存以及手势状态预测，界面会显示出采集的电压数据以折线图显示，预测结果将图片形式展示（见图1）。

图1：系统整体设计

2.1 采集装置设计

优秀的传感器设计是保证数据采集准确性的关键一步，铜电极具有良好的导电性，均匀分布于布带一周，通过电极带的伸缩性可以与皮肤直接进行良好接触，能够稳定采集到电信号，通过共轭梯度法进行图像重建。所采用的铜电极在实验中表现良好的重建效果，当然还可以进一步实验其他材料，得到最好的阻抗信息采集。

基于STM32F4ZGT6芯片和AD模块的数据采集系统中，通过一对电极注入恒定的正弦波电流，所采用的压流转换模块的作用将电压数据转换交变电路，经过多路选通模块控制后作用域激励电极端，所需要A0505S供给，其大小±5，并用剩余电极进行测量记录表面的电压，测量电压的幅度和相位随着腕部的电导率变化而产生相应的变化。在测量中调节多路选通模块，可以完成相应电极对腕部阻抗的测量。

2.2 测量原理及方案选择

电学测量系统根据物体周围表面电极测量的信号重建导电物体的内阻抗分布，目前常用的侧廊方案是双端和四端测量方式。如图2在双端阻抗测量的序列中，通过选取一对相邻电极作为输入电流电极，并且每次顺时针移动电极对直到第八根电极，电压的检测同样从第一对电极开始，测量其余相邻电极电压，得到一轮的电信号，通过这样的布置，电压的检测以及注入电流都是呈现固定模式进行变化。EIT利用相邻两电极之间的电压差进行处理,使用测量方式相互激励，相邻测量作为基础，并循环采集数据作为数据处理的样本集，足够的样本集作为手势分类的基础，为了寻找一种新的驱动方式，产生较少的阻抗数据，足够的精度来进行分类，在这项中采用了最常使用的8个电极和两终端方案来降低系统的复杂性。

图2：电极工作示意图

2.3 网络模型建立

本系统选取CNN作为系统手势分类方法，卷积网络有着分层处理信息的能力的同时还有着对多种特征进行学习的能力，具有深度结构反馈的神经网络，采用基于梯度的反向传播算法对网络结构监控。本文先设计了两种针对手势识别的CNN网结构，5-2-3-3-和3-3-3-4两种CNN网络结构。将训练集和验证集分别输入网络中训练，如图3所示实验得出5-2-3-3收敛更快，当循环到400epoch时，该网络结构的损失和验证集均无明显变化，并对网络参数进行保存。最后选择设置各层滤波器结构为5-2-3-3，即卷积层c1:5*5，池化层s2:2*2，卷积层s3:3*3，池化层s4:3*3。

图3：损失值变化

2.4 手势集建立

为了验证系统的可识别性和稳定性，需要选取一个基本手势集，包含“放松”“伸展”“左弯”“右弯”“握拳”“竖直大拇指”“蜘蛛侠手势”，“剪刀”六个基本手势。选取十名用户进行测试，将就具有伸缩性的电极带佩戴在用户的右手腕处，调节电极带与其腕部皮肤的良好接触，让用户手臂保持自然放松状态感到舒适之后，开始随机循环测试六种基本手势且保持手势1秒，单次手势反复10次，将十名用户总体数据其作为实验测试数据。

2.5 实验结果与分析

将未经训练的实验数据输入训练好的 CNN模型进行手势状态进行预测手势结果，对于所有用户测试结果正确性进行平均，如图4所示，其总体手势测试结果都较为稳定在97%左右的正确率，同时可以由图看出“左弯”手势识别率最低，与其他手势产生了混淆，但是其依旧高达90%。在实际测试过程中，用户单一重复做同种手势时，其上位机显示手势结果准确，但当实验时间的持续进行，在不同手势交替时会产生少部分错误手势，其原因是用户连续变换手势动作，会引起腕部肌肉疲劳，肌肉的连续变化造成内部阻抗信息没法及时恢复原状，此时采集到的数据与真实数据存在误差。同样在变化手势的过程中，电极与腕部皮肤接触情况也在变化，接触过松时，真实电位信息与采集到的不匹配。这些实际情况都会影响系统的稳定识别性，但总体测试结果识别率超过同生物肌电识别系统。实验结果能够说明所创建的网络模型对手势状态识别表现出良好的识别效果和鲁棒性，本系统能够实现便携式高精度测量的目的。

图4：实验结果

3 结语与展望

本文基于EIT技术和深度学习发展状况，提出设计一套基于电学测量与深度学习的便携式智能手势检测设计，经过重复多次的实验表明，即使是简单的手势变化也会导致人体手臂内部肌肉阻抗分布显著变化，在准确率上来说本系统是优于其他肌电传感类的识别系统。所设计的系统通过对不同手势情况下的腕部数据进行多组采集，采集到的数据全面反映了不同手势条件下手腕内部的阻抗分布，该系统可以快速准确地判断出不同的手势且具着有较高的稳定性。但是我们希望能够进一步改进优化系统，如目前测试的基本手势集并不具有普遍性，还需要加入更多的手势进行测试，得到一个更具有广泛性的测试结果，还需要更快ADC采样来提高帧率，增多电极数目对实验结果准确性的影响也是需要进一步实验，电极种类也是需要进行探究实验如心电电极。希望这些改进能让系统稳定接受手势的连续变化，得到更准确和快速的手势结果。