张璐，陶然，彭志飞，丁金洋

（东华大学 计算机科学与技术学院，上海 201600）

0 引言

近年来，随着计算机视觉应用技术的快速发展，国内外的研究人员对人脸、表情、姿态、手势等人机交互方面进行了大量的研究［1］。较于其它交互方式，手势具有更加直接、灵活、自然的特点，因此手势识别引起了研究者的极大关注［2］。由于当下部分中小学生握笔手势不规范，导致坐姿不标准、眼睛近视以及手指关节增生，对其身心健康造成了不良的影响［3］。

手势分为静态手势以及动态手势识别两种类型，本文仅对静态手势识别进行研究，其关键技术分为手势分割、手势识别两部分。薛俊韬［4］等人利用人体肤色的聚类特性，在YCbCr 空间构建皮肤颜色分布模型，对手势进行分割，此颜色空间受光照等变化影响较小，肤色的聚类效果好，因此本文手势分割算法基于此颜色空间。谢峥桂等人［5］首先对手势图像进行手势分割预处理，接着对处理后的图像利用CNN 模型进行特征提取和识别。文献［6］基于卷积神经网络开发了OpenPose 模型，实现了人体关键点检测以及骨架图的绘制。Mazhar等人［7］基于OpenPose 模型构建了手势实时检测人机交互系统。随着深度学习的不断发展，研究者们提出了多模态输入的方法。文献［8］中提出，将骨骼关节信息、深度图像和RGB 图像同时输入至隐马尔可夫模型的半监督分层动态框架，进行手势分割和识别。

综上所述，本研究受到多模态的启发，提出基于改进AlexNet 的双模态握笔手势识别方法，将握笔手势分割图像与骨架图像同时输入至增加了批标准化、注意力机制以及修改了卷积核大小的改进AlexNet 中，进行手势分割和识别。……