朱想先，楼逸伦

（宁波普瑞均胜汽车电子有限公司，浙江 宁波 315000）

0 引言

手势识别一直以来都是人机交互领域中重要的研究方向，在虚拟现实、智能座舱、智能家居等方面有广阔的应用前景。考虑到嵌入式平台的资源有限性特点，本文提出了轻量级视觉手势识别交互系统，并设计了一个带有批归一化层的轻量级多层神经网络Light MLNN。本系统采用Zhang等人提出的Mediapipe Hands[1]将摄像头RGB数据转化为21个手部关键点3维位置坐标，再将坐标处理后送入Light MLNN实现静态手势分类。并且引入二元交叉熵损失函数（BCE Loss）作为目标函数，与常用多分类损失函数交叉熵损失函数(CE Loss）相比，以微小准确率损失为代价，能够抑制非目标手势被错分成目标手势分类。

1 手势关键点提取

本文采用Mediapipe Hands作为手势关键点提取方案。它主要由BlazePalm Detector和Hand Landmark Model两个神经网络模型构成。BlazePalm Detector模型的输出经过非极大值抑制等处理转化为仅包含手掌的检测框坐标，并且输出手掌关键点位置。利用模型输出的手掌检测框、中指关节和手腕关节，Mediapipe Hand将检测框旋转并且放大得到全手检测框。Hand Landmark Model将裁减后全手检测框中的图像转化为全手21个关键点的3维坐标、左右手性和手势分数。在实时应用中，手掌检测模型一旦检测到手势，后续全手检测框由手势关键点模型计算产生。当手势分数低于阈值时，手掌检测器才会再次激活。对于单手关键点提取任务，两个检测器交替工作，提高了处理速度。后续对关键点的分类则交由Light MLNN实现。

2 Light MLNN 多层神经网络模型

2.1 Light MLNN 网络结构

本文采用Pytorch框架训练Light MLNN模型。……