郭晓利，杨婷婷，张雅超

(1.东北电力大学 信息工程学院，吉林 吉林 132012；2.国网吉林省电力有限公司 吉林供电公司，吉林 吉林 130021)



基于Kinect深度信息的动态手势识别

郭晓利1，杨婷婷1，张雅超2

(1.东北电力大学 信息工程学院，吉林 吉林 132012；2.国网吉林省电力有限公司 吉林供电公司，吉林 吉林 130021)

摘要：针对复杂动态手势识别问题，本文首先通过体感传感器Kinect获取人体深度图像，利用阈值分割法分割出手势深度图像，然后建立由隐马尔可夫模型(HMM)和模糊神经网络(FNN)相结合的HMM-FNN模型进行动态手势识别。本文的动态手势主要是针对虚拟变电站中对设备的常用操作手势来进行人机交互研究的。HMM-FNN模型将复杂动态手势特征分解为三个子特征序列，分别建立HMM模型，然后进行模糊推理对手势进行分类识别。经实验验证，HMM-FNN模型能快速有效识别复杂动态手势，且鲁棒性强，识别效果明显优于HMM模型。

关键词：Kinect；阈值分割法；复杂动态手势；HMM-FNN；手势识别

由于手势具有自然、直观的特点，手势交互成为人机交互中对用户限制最少的交互模式，目前，基于视觉的手势识别在体感游戏、机器人机械手的抓取等方面得到越来越广泛的应用[1-2]。体感传感器Kinect是微软公司推出的外接体感设备，可以同时获取RGB图像和深度图像，逐渐成为基于视觉手势识别的重点研究对象。开源软件OpenNI定义并形成标准的API，可以方便的访问和使用Kinect设备，但它只提供了单击、挥动、举起、移动4种简单的手势[3]，不能满足用户利用自然手势进行人机交互的需求，这就需要丰富扩展其手势集。……