沈烨培 邱金波

（广东石油化工学院 电子信息工程学院，广东 茂名 525000）

根据世界卫生组织的报告，全球约有4.66亿人遭受听力损失的困扰，并且预计2050年人数将超过9亿人，而我国是世界上听力语言残疾人数最多的国家，有听力语言残疾人2057万（2010年）[1]。手语为听力语言残疾人与他人交流提供了可能性。本项目引入最新的图像识别和机器学习技术，对中国手语进行向自然语言的文字和语音形式的转化，从而实现惠及中国听力语言残疾群体的无第三人介入的中国手语翻译解决方案。

1 相关研究

在计算机科学中，手势识别是通过数学算法来识别人类手势的一个议题。手势识别可以来自人的身体各部位的运动，但一般是指脸部和手的运动。识别人的姿势，步态，行为也是手势识别的一个分 支[2]。手势识别可以认为是让计算机理解人体肢体语言的一种手段。

目前，根据不同的识别方法，手势识别的输入设备大多分为以下几类：手套（Wired Gloves），手语使用者需要佩戴特制的手套对其手指动作进行捕捉；深度感知相机（Depth-aware cameras）[3]主要应用结构光（Structured light）和飞行时间相机（Time-of-flight camera）技术对近距离的手势进行识别感知。Google I/O 2015上也有使用雷达对手势进行识别的展示。

从以上文献调研可知：

手势识别技术由于作为非接触人机交互的先进领域得到快速发展，但较为复杂手语的识别并非主流需求，所以直到2019年1月才出现了较大规模的可用于机器学习训练的连续中国手语数据集[4]。本项目则实现一种无需第三人介入而只需要单一摄像头的视频源，基于卷积神经网络CNN与OpenCV计算机视觉库的智能中国手语翻译方案。……