吴心怡 徐火生 李 恒 胡 超

（武汉数字工程研究所 武汉 430000）

1 引言

动态手势识别需要通过连续的视频帧序列来学习和训练手势动作的时空特征，进而对不同的动态手势进行分类识别。采用RGB数据与深度数据特征融合的方法，如文献［1～3］分别提取RGB图像和深度图像的手势特征，再进行融合与分类，识别效果较好但训练所需数据量较大；引入光流信息辅助提取特征的方法，如文献［4～5］分别对动态手势的RGB图像和深度图像提取光流信息，再对光流信息进行特征提取与分类，识别效果优秀，鲁棒性高，但模型复杂度也相对较高。为了解决上述问题，本文提出了一种基于TSM框架的动态手势识别模型，通过使用一种高效的时间移位模块来融合不同时间维度上的手势特征信息［6］，再结合复杂度较低的基础网络ResNet50，实现对手势动作序列的识别。该模型能够在2D网络模型上达到3D网络模型的识别效果，大大降低了模型的复杂度。

2 基于TSM框架的动态手势识别模型

如图1所示，模型首先对视频数据进行预处理，将视频帧归一化至224×224大小，再将视频均匀分成n个片段，每个片段采样1帧图像得到图像帧序列{F1，F2，…，Fn} 送入残差网络进行卷积操作［7～8］，再沿着时间维度对特征图的部分通道进行移位替换操作，通过时间移位模块得到移位特征，该特征融合了当前帧与相邻帧的特征信息来进行时间维度建模。这一系列操作能够让更具代表性的手势特征在时间维度上高效传播，保持2D网络的复杂度并达到3D网络的效果。……