刘涛 马静 徐军 郑煜伟 唐兆军 付琳 周莹莹

摘要：针对听障人士手语交流的问题，设计了一种基于肤色分割和卷积神经网络的手语识别系统。首先，利用视觉传感器采集不同的手势图像，然后基于YCrCb空间对手势图像进行肤色分割，构建手势图像数据集，采用卷积神经网络对手势图像数据进行特征提取与分类，将训练与测试得到的最优模型导入树莓派，使用讯飞语音包将识别结果转化为语音，实现语音播报手语识别结果。

关键词： 肤色分割; YCrCb; 卷积神经网络; 手语识别

中图分类号：TP183     文献标识码：A

文章编号：1009-3044（2021）35-0014-04

Sign Language Recognition System Based on Skin Color Detection and Convolutional Neural Network

LIU Tao，MA Jing ，XU Jun，ZHENG Yu-wei，TANG Zhao-jun，FU Lin，ZHOU Ying-ying

（Harbin University of Science And Technology， School of Measurement and Control Technology and Communication Engineering， Harbin 150000， China）

Abstract：Aiming at the problem of sign language communication for the hearing impaired， a sign language recognition system based on skin color segmentation and convolutional neural network is proposed. First， the visual sensor is used to collect different gesture images， and then the gesture image is segmented based on the YCrCb space to construct the gesture Image data set， using convolutional neural network to extract and classify gesture image data， import the optimal model obtained from training and testing into the Raspberry Pi， use the iFLYTEK voice package to convert the recognition result into speech， and realize the speech broadcast sign language recognition result.

Key words： skin tone segmentation; YCrCb; convolutional neural network; sign language recognition

1 引言

手语作为听障人士的“语言”表达形式，含有明确的信息。而正常人需要进行系统学习才能与听障人士进行良好沟通，所以正确识别听障人士的手语信息是非常重要的。随着科学技术的不断发展，手语识别技术已经成为人机共融领域的热门研究方向。

目前，众多学者对手语识别进行了研究，如基于传感手套的手语识别系统[1]、基于肌电传感器的手语识别系统[2]、基于深度传感器的手语识别系统[3]等。其中文献[1-2]需要可穿戴设备的支持，文献[3]需要对手部进行复杂建模。上述有关于手语识别的研究都有各自的适用要求，为了满足实际手语识别所需的便携性和易使用性，本文设計了一种基于肤色分割和卷积神经网络的手语识别系统，通过YCrCb空间对手势图像进行肤色分割，然后使用卷积神经网络来代替传统的特征提取方法提取手部图像特征和建立手语识别模型，完成手语图像信息的识别与分类。……