苗启广+李宇楠+徐昕

摘要：提出了一种基于三维卷积神经网络（CNN）的大规模视频手势识别算法。首先，为了获得统一尺度的输入数据，在时域上对所有输入视频进行了归一化处理得到32帧的输入视频；然后，为了从不同的角度描述手势特征，通过真彩（RGB）视频数据生成了光流视频，并将RGB视频和光流视频分别通过C3D模型（一个3D CNN模型）提取特征，并通过特征连接的方式加以融合输入到支持向量机（SVM）分类器来提高识别性能。该方法在Chalearn LAP 独立手势数据集（IsoGD）的验证集上达到了46.70%的准确率。

关键词： 手势识别；三维卷积神经网络；光流；SVM

手势是一种交流的形式，它指的是利用人的肢体动作来说明其意图或态度的行为。由于在视频监测控制、标志语言理解、虚拟现实和人机交互等领域有着巨大的应用前景，越来越多的研究人员开始研究手势识别算法，以实现将人类手势解释给机器的目标。

手势识别最早期的研究是从20世纪80年代开始，是一种典型的涉及到各方面知识的研究。为了对人体动作的含义加以识别，研究人员先后使用了大量不同种类的方法。早期的大部分方法都是基于复杂的人工制作特征。Stamer和Pentl[1]首先利用隐马尔科夫模型（HMM）进行美国手语的相关研究；Elmezain[2]等利用HMM模型对手势的动态轨迹进行了识别；Sgouropoulos等人[3]将神经网络方法和HMM方法结合使用，可提高动态手势的识别效果，并且该方法具有光照鲁棒性。Wan等人将尺度不变特征变换（SIFT）特征加以扩充，得到3D增强动作SIFT（EMoSIFT）[4]和3D稀疏动作SIFT（SMoSIFT）[5]，并通过稀疏关键点混合特征（MFSK）[6]来进行手势识别。……