黄 圣， 茅 健

（上海工程技术大学机械与汽车工程学院， 上海 201620）

0 引 言

人机交互系统是人与机器之间进行交流和信息传递的桥梁［1］。 手势是人类有效表达自身想法的主要工具，其从简单到复杂的不同动作，使之能够与他人交流。 随着科学技术的发展和人们对智能设备的应用需求的不断增加，通过机器识别肢体动作，成为研究热点之一［2］。

学习时空特征对于人类手势或动作识别的性能稳定至关重要。 Li 等人［3］提出了一种具有注意力机制技术的三维卷积神经网络（3D-ConvNets），用于学习时空特征。 该模型在特征的时空学习方面优于简单的2D-CNN。 Hakim 等人［4］提出使用3DCNN 模型和LSTM 提取23 个手势的时空特征，在分类阶段之后，将有限状态机（FSM）与3D-CNN、LSTM 模型融合，以监督分类决策。 从上述的研究中可以得出：时间信息和LSTM 对于处理动态手势时获得准确的手势预测非常重要。 因此，许多研究者开始利用混合模型来学习和进行动态手势识别任务［5］。

近年来，注意力机制作为深度学习领域的重大突破，通过计算特征信息的重要程度并分配权重来增强模型对重要特征的关注度。 对此，本文提出了一种基于注意力机制的动态手势识别方法，结合3D-CNN、CBAM 和LSTM 的混合模型使用，并在20BN-Jester 数据集上进行实验。

1 基础理论

1.1 3D 卷积神经网络（3D-CNN）

在2D CNN 中，卷积层执行2D 卷积，从前一层特征图上的局部邻域中提取特征，应用加性偏差，结果通过sigmoid 函数传递。 卷积应用于2D 特征图，仅从空间维度计算特征；当应用于视频分析问题时，需要捕获编码在多个连续帧中的运动信息，为此在CNN 的卷积阶段执行3D 卷积，以计算空间和时间维度的特征［6］。……