周 舟，韩 芳，王直杰

东华大学 信息科学与技术学院，上海201620

在聋校语言教学中，双语教学模式能有效提高聋童的语言学习效率，对于特殊教师们来说则需花费更多的耐心、时间和精力。面临着我国特殊教育学校的师资普遍薄弱的现状，手语识别技术便可帮助特教完成教学任务——聋童将手语录成视频输入计算机，进而能够学习输出的汉字和唇语，无需老师亲自教学就能完成汉语书面语的学习。另外，计算机只对标准的手语（以《中国手语》为标准）进行识别，借此还可纠正聋童手语方言化的问题。

目前手语识别方法大体分为两种：一是基于传统图像特征和机器学习的方法[1-2]：如首先利用传统的图像分割算法从手语视频的视频帧中分割出手部，再通过机器学习的方法（如SVM、Adaboost 算法）根据分割区域的图像特征（如HOG、SIFT特征）进行特征分类[3]。但由于这些特征的表征能力有限，难以从复杂内容中提取到具有代表性的语义信息，而且分步完成的手势识别实时性差。二是基于深度学习的方法[4]：如利用目标检测神经网络学习视频帧的特征，对手部进行定位并同时进行手势分类。相比传统图像处理和机器学习算法，基于深度学习的目标检测网络往往能得到更高的准确率和识别速度[5]，其代表有Faster R-CNN[6]，以及后来推出的Onestage目标检测方法，如YOLO[7]、SSD[8]，能进行端到端检测，具有更好的实时性，因此成为动态目标检测的主流方法。

本文提出的手语识别算法利用深度学习中的目标检测网络SSD，相比基于图像特征和机器学习的大部分手语识别方法更简单，能同时完成手语视频中每个视频帧中的手部检测和手势分类。……