高明柯 陈一民 张典华 吕圣卿 黄 晨

1(上海大学计算机工程与科学学院 上海 200444) 2(上海大学数码艺术学院 上海 201800) 3(中国电子科技集团公司第三十二研究所 上海 201808)

0 引 言

手势交互是人机交互的一个重要分支，具有自然直观的特点。手势识别是手势交互的关键技术之一。手势识别和手势交互技术在人机交互领域受到了越来越多的关注[1]。手势识别通常分为基于传感器的手势识别和基于视觉的手势识别[2]。本文采用基于视觉的手势识别方式。基于视觉的手势识别是利用普通摄像头或3D摄像头捕获裸手的灰度、彩色或深度图像，通过人手分割、特征提取、手势建模、定位跟踪和分类识别等一系列处理后最终实现手势的识别。这种方式计算复杂度和难度相对较高，但是其相对低廉的成本、自然的交互是无法替代的，它更符合人机交互的发展趋势，也是手势识别技术发展的目标。

手势识别的方法有模板匹配、动态规划(DP)、人工神经网络(ANN)、隐马尔科夫模型(HMM)、支持向量机(SVM)等。隐马尔可夫模型(HMM)是在Markov链的基础上发展起来的[3]。HMM具有丰富的数学结构，能以自然的方式对时空信息建模；而具有简洁有效的算法用于训练和识别，比如Baum-Welch算法和Viterbi算法。HMM通过转移关系相连的状态集合，因此它被成功应用在语音识别[4]、手写识别[5]、疾病分类[6]、动作识别[7]和手势识别[8-11]等方面。HMM方法拥有时间尺度不变形的特性，但其算法复杂度较大，实时性较低。

支持向量机是一种基于统计学习理论的模式识别方法，其主要应用于模式识别领域。SVM使用数学的方法及优化技术，对于解决小样本、非线性和高维模式识别的问题有着很好的效果，已广泛应用在文本分类[12]、手写字符识别[13]、图像识别[14]、手势识别[15-16]等领域。SVM具有较强的分类能力，其克服了传统的分类方法由于数据维度较高而导致识别效率低和识别效果较差的缺陷。但是训练样本比较复杂，若样本集很大，训练将会很耗时，且针对于多分类的问题，计算量较大，分类最终结果时有较大的延时。

证据理论由Dempster[17]于1967年提出，之后由他的学生Shafer进一步发展，成为一种不精确推理理论，也称为D-S证据理论。证据理论是一种具有比贝叶斯概率论更弱条件的不确定推理方法，而且具有表达“不知道”和“不确定”的能力。它是一种数据融合的方法，能够将多源数据通过一定的公式和规则融合到一起，得到一个可信度更高的结果，而且已经有许多成功的应用[18-19]。

因此，本文提出基于证据理论融合的手势识别方法。方法先采用Leap Motion采集手势视频序列，提取手势运动轨迹的位置、方位向量以及手形变化作为特征。然后采用HMM和SVM分别对手势进行训练，进而在识别中通过证据理论将两种方法计算的手势基本概率分配进行决策融合，以实现最终的手势识别。最后将该方法应用于医疗可视化系统中以实现自然直观的手势交互。

1 基于证据理论融合的手势识别方法

1.1 证据理论基本原理

在证据理论中，既可以对假设空间中单独的元素赋予信度，也可以对子集赋予信度，这类似于人类的证据收集过程。

假设Θ是一个识别框架，或者称之为假设空间。

基本概率分配BPA(Basic Probability Assignment)：在识别框架Θ上，基本概率分配BPA是一个2Θ→[0,1]的函数m，该函数称之为mass函数。其中，如果A满足m(A)>0 ，则A称为焦元，m(A)表示对A的信任程度。

(1)

信任函数(Belief Function)：也可以称之为信度函数，集合A的信度表示了其所有子集所对应的基本概率分配之和。信任函数定义为：

(2)

似然函数(Plausibility Function)：也称似然度函数。表示不否定A的信任度。似然函数定义为：

(3)

信任区间：在证据理论中，对于某个假设A，基于概率分配BPA可以计算出这个假设的信任函数Bel(A)和似然函数Pl(A)，两者组成了一个信任区间[Bel(A),Pl(A)]，可以表示对这个假设A的信任程度。

基于以上的基本概念，当有多个mass函数(m1,m2,…)时，Dempster提出一种合成规则，可把它们合成为一个mass函数，被称为Dempster合成规则，也称作证据合成公式。

对于∀A⊆Θ，Θ上的有限个mass函数m1,m2,…,mn，其Dempster合成规则为：

(m1⊕m2⊕…⊕mn)(A)=

(4)

式中：K为归一化常数：

(5)

1.2 手势定义

为了避免动态手势识别的分割歧义性，确定手势的起始和结束点，使用手包球法对三种静态手势伸直、自然手型、抓取手势进行识别，该方法主要依据不同手型的手指和掌心形成的外接球直径大小来判断，三种手型如图1所示。

图1 三种静态手势示意图

通过Leap Motion获取的手部三维信息，计算手掌外接球的直径，由直径大小判断手势类别。通过多次实验，推导出各手势的外接球直径阈值范围。图1中，抓取手势或者伸直手势为动态手势的起始点，自然手型为动态手势的结束点。

为了更加符合人的交互习惯，在动态手势起始点和结束点的基础上，定义交互手势如表1所示。

表1 交互手势定义表

1.3 手势特征提取及量化

位置、运动速度、方向角、运动加速度等是动态手势运动轨迹常用的特征。Yoon等[20]已经证明方向角特征对手势运动轨迹的识别率贡献最大，因此本文选择方向角为特征进行手势识别。

设动态手势运动轨迹的投影轨迹上两个点为P1(x1,y1)、P2(x2,y2)则它们之间的方向角定义为：

(6)

在运动手势中，设某一手势轨迹长度为T，t时刻该手势的质心点为Pt(xt,yt)，而整个轨迹根据所有手势质心点具有一个中心点Pc(Xc,Yc)，其坐标计算公式为：

(7)

(8)

(9)

(10)

1.4 证据理论融合的手势识别

在本文所定义的交互手势中，右手伸直状态下的动态手势识别存在三种结果，即为单手的画圆操作、往返滑动操作和其他未定义操作三类。

设某一手势在HMM识别后，得到该手势的基本概率分配，其mass函数为mHMM。设画圆手势的概率为mHMM({画圆})，滑动手势的概率为mHMM({滑动})，其他手势的概率为mHMM({其他})，mHMM({画圆})+mHMM({滑动})+mHMM({其他})=1。

设某一手势在SVM识别以后，得到该手势的基本概率分配，其mass函数为mSVM。设画圆手势的概率为mSVM({画圆})，滑动手势的概率为mSVM({滑动})，其他手势的概率为mSVM({其他})，mSVM({画圆})+mSVM({滑动})+mSVM({其他})=1。

首先，计算证据理论归一化常数K：

mHMM({画圆})·mSVM({画圆})+mHMM({滑动})·

mSVM({滑动})+mHMM({其他})·mSVM({其他})

(11)

然后，采用Dempster证据合成公式分别计算三类手势的组合BPA(即组合mass函数)。画圆手势的BPA计算公式为式(12)，同理可计算滑动手势的BPA其他手势的BPA。

(12)

最后，利用信任函数和似然函数，可得到结论，对于该手势识别系统，其信任函数值、似然函数值和组合后的mass函数值相等，即：

Bel({画圆})=Pl({画圆})=mHMM⊕mSVM({画圆})

(13)

Bel({滑动})=Pl({滑动})=mHMM⊕mSVM({滑动})

(14)

Bel({其他})=Pl({其他})=mHMM⊕mSVM({其他})

(15)

由此，可以得到各信任区间：[Bel(画圆),Pl(画圆)]、[Bel(滑动),Pl(滑动)]、[Bel(其他),Pl(其他)]。通过各手势信任区间的可信度大小即可判断手势的类别归属。

根据本文证据理论融合方法，设计整个系统算法流程如图2所示。

图2 算法流程图

2 实验结果

本实验在配置为Intel(R) Core(TM) i5-3337U CPU @ 1.8 GHz，内存8 GB，64位Win10操作系统的笔记本电脑上完成。Leap Motion放置在笔记本屏幕的正前方。开发平台为Unity3D v5.3.1、VS2015和Leap Motion SDK。

2.1 手势识别实验

针对本文中需要动态识别的两种命令手势，每种手势采集200个测试样本进行测试，结果如表2所示。表2中显示单独使用HMM或者SVM方法识别的手势识别率明显低于经过证据理论决策融合的方法，由此可表明通过证据理论决策融合可有效地将两种方法进行优势互补，最终提高了手势识别率。

表2 不同算法下动态手势识别率

2.2 手势交互实验

该实验将本文方法应用于医学可视化手势交互中，实现对肺部模型的平移、缩放和旋转等操作。效果如图3所示。

图3 手势交互效果图

实验过程中，自然手型在移动过程中不会对模型造成影响。当右手为抓取手势时，可实现对模型进行上下、左右、前后操作，如图3(a)和(b)所示；若右手伸直往返滑动，可实现对模型的切换，如图3(c)所示，切换为心血管模型；若双手都为抓取手势时，可对模型进行缩放和旋转操作，如果两手相互靠近，则会缩小模型，如图3(d)所示；如果两手相互远离，则会放大模型；如果两手的空间位置关系发生变化，则会对模型进行同等变换，使模型旋转，如图3(e)所示。

3 结 语

本文提出并实现了一种基于证据理论融合的手势识别方法。方法先采用Leap Motion采集手势视频序列，提取手势运动轨迹的位置并计算方向角为特征。然后在隐马尔科夫模型和支持向量机分别进行手势训练的基础上，在识别中通过证据理论将两种方法计算的手势的基础概率分配进行决策融合，实现了最终的手势识别。最后将该方法应用于医疗可视化系统中，实现了自然直观的手势交互。实验结果表明，该方法能有效融合隐马尔科夫模型和支持向量机的优点，提高了手势识别率和交互准确性。

[1] Rautaray S S,Agrawal A.Vision based hand gesture recognition for human computer interaction:a survey[J].Artificial Intelligence Review,2015,43(1):1-54.

[2] Pisharady P K,Saerbeck M.Recent methods and databases in vision-based hand gesture recognition[J].Computer Vision & Image Understanding,2015,141(C):152-165.

[3] Rabiner L R.A tutorial on hidden Markov models and selected applications in speech recognition[J].Readings in Speech Recognition,1990,77(2):267-296.

[4] Rose R C.Discriminant wordspotting techniques for rejecting non-vocabulary utterances in unconstrained speech[C]//IEEE International Conference on Acoustics,Speech,and Signal Processing.IEEE,1992,2:105-108.

[5] Lee S H,Kim J H.Augmenting the Discrimination Power of HMM by NN for On-Line Cursive Script Recognition[J].Applied Intelligence,1997,7(4):305-314.

[6] Khorasani A,Daliri M R.HMM for Classification of Parkinson’s Disease Based on the Raw Gait Data[J].Journal of Medical Systems,2014,38(12):1-6.

[7] Li Z,Wei Z,Yue Y,et al.An adaptive Hidden Markov model for activity recognition based on a wearable multi-sensor device[J].Journal of Medical Systems,2015,39(5):57.

[8] Bilal S,Akmeliawati R,Shafie A A,et al.Hidden Markov model for human to computer interaction:a study on human hand gesture recognition[J].Artificial Intelligence Review,2013,40(4):495-516.

[9] Yoon H S,Soh J,Bae Y J,et al.Hand gesture recognition using combined features of location,angle and velocity[J].Pattern Recognition,2001,34(7):1491-1501.

[10] 陈一民,张云华.基于手势识别的机器人人机交互技术研究[J].机器人,2009,31(4):351-356.

[11] Li T S,Kao M,Kuo P.Recognition System for Home-Service-Related Sign Language Using Entropy-Based,-Means Algorithm and ABC-Based HMM[J].IEEE Transactions on Systems Man & Cybernetics Systems,2016,46(1):150-162.

[12] 谭光兴,刘臻晖.基于SVM的局部潜在语义分析算法研究[J].计算机工程与科学,2016,38(1):177-182.

[13] 方向,陈思佳,贾颖.基于概率测度支持向量机的静态手写数字识别方法[J].微电子学与计算机,2015(4):107-110.

[14] 王微,董慧慧.Gabor滤波器和支持向量机相融合的人脸识别[J].激光杂志,2016,37(1):87-90.

[15] Liu Y,Zhang P.Vision-Based Human-Computer System Using Hand Gestures[C]//2013 Ninth International Conference on Computational Intelligence and Security.IEEE,2009:529-532.

[16] 蔡芝蔚,吴淑燕,宋俊锋.基于SVM和组合优化模型的手势识别[J].系统仿真学报,2016,28(8):1812-1817.

[17] Dempster A P.Upper and Lower Probabilities Induced by a Multivalued Mapping[J].Annals of Mathematical Statistics,1967,38(2):325-339.

[18] 王慧,宋宇宁.D-S证据理论在火灾检测中的应用[J].中国安全科学学报,2016,26(5):19-23.

[19] 王力,白静.改进的证据理论在多传感器目标识别中应用[J].科技通报,2016,32(7):134-137.

[20] Yoon H S,Soh J,Bae Y J,et al.Hand gesture recognition using combined features of location, angle and velocity[J].Pattern Recognition,2001,34(7):1491-1501.