基于深度学习的手语识别算法研究
2021-11-30戴兴雨王卫民梅家俊
现代计算机 2021年29期
戴兴雨,王卫民,梅家俊
(江苏科技大学计算机学院,镇江212003)
0 引言
据北京听力协会2017年预估数据,我国听力障碍人士已达7200万,其中有2700万听障者需通过手语等方式进行沟通交流。手语是听力障碍人士与其他人交流最为重要的方式,但是会手语的人很少,即便使用手语,也因为看不懂手语而无法正常交流。这对听力障碍人士与他人交流造成了极大的障碍。2018年7月1日国家出台了通用手语标准[1],这让听力障碍人士使用手语与他人交流变得有章可循。因此手语识别研究有着广泛的应用价值,对手语识别算法的研究有助于提升我国聋健融合的程度和加速国家通用标准手语的推广进程。
本文采用Seq2Seq模型[2][3],实现视频帧序列到字序列的转换。对于手语视频,采用Incep⁃tionV3对视频中的每帧图片进行特征提取,输入到Seq2Seq模型的Encoder部分得到视频的融合特征。一个词的手势包含起始动作、关键动作、过渡动作、结束动作,在编码器进行特征融合过程中每个动作的权重是一样的,针对这个问题,本文采用K-means方法提取以及利用人工标注的方式从语言学角度和听障人群使用的角度标注视频帧的关键帧,将关键帧的融合特征与手语视频所有帧的融合特征组合起来输入到Seq2Seq模型的Decoder部分进行解码,使得关键帧占据更大的权重,提高手语识别的准确率。
1 相关工作
从20世纪60年代以来,研究者就对手语识别技术展开研究[4]。目前手语识别方法研究大致分为3个方向:①基于体感设备的手语识别。……
登录APP查看全文
