赵玉芹，刘 琳

东华理工大学软件学院，江西 南昌 330013

0 引言

随着计算机应用技术的不断发展，人与计算机的交互活动越来越成为人们日常生活的一个重要组成部分。最近几年，符合实际交流习惯的新颖人机交互技术取得了可喜的进步。手势识别是其中比较热门的一个研究课题。手势是人类最自然的表达方式之一，手势指的是一种自然、直观、易于学习的人机交互手段，是人与人沟通的重要媒介。在手势识别中，由于不同的手势动作经常同时包含类似的动作，而且动作之间的转换在时间点上具有模糊性和重叠性。所以手势动作的识别是人机交互领域一个复杂而具有挑战性的研究。动态手势识别中手势运动序列的描述是一个关键问题，一些文献使用隐马尔可夫模型来描述手势运动，隐马尔可夫模型要求手势动作序列是独立的，而实际上手势动作序列具有长距离依赖性。利用条件随机场描述手势动作序列则可以避免数据必须独立的假设。

1 条件随机场

1.1 包含回路的条件随机场的转换

可以认为条件随机场（CRF）是一个无向图模型，或者随机马尔科夫场，定义G=（V,E）为一个无向图，存在随机变量序列X。随机变量sv服从马尔科夫性质，即：

其中(X,S)为一个条件随机场。条件随机场是一个以观察序列X为条件的随机场。在给定X条件下，状态序列S的联合概率为

其中X是样本序列，S为状态序列。

可以将S认为是状态，而X认为是观察样本。与隐马尔可夫模型不同，条件随机场模型不需要估计状态的概率分布模型。

不同的应用模式，可以运用不同的图形来描述条件随机场中变量之间的关系。当变量之间存在层次概念时，可以选择树状结构来描述层次关系；当要描述两个不同路径但是有共同时间索引的马尔科夫模型状态与数据之间的关系时。可以选择动态条件随机场架构。

在条件随机场的相关研究中，往往使用现行链状结构来描述变量之间的依赖性。事实上，在随机场中，变量的依赖关系有时候会出现回路。尤其是在时间顺序上前后相互影响的变量。这时，精确的树状推论方法就不能用来正确的推算变量的联合概率。因此我们可以依照联合树的步骤来分析该图形，并建立一个树状的结构。使得可以用标准的推演方法来推算这一图形模型。假如图形符合建构联合树的条件，则建构相对应的联合树图。

1.2 特征函数的定义

条件随机场模型的特征函数的定义取决于状态与状态之间的关系，以及观察状态序列之间的关系，因此应用最大似然训练的隐马尔可夫模型（HMM）进行特征提取。可以用似然度分数和状态转移概率来定义特征函数。首先用隐马尔可夫模型获得经过状态分割的状态序列，以及每一个时间点观测值与每个状态的相似度分数。即可求出特征函数的值。

定义特征函数的方法如下：对每一个手势动作中的每一个状态建立一个特征函数：

其中p(xt|st)代表相似度。可以得到相对应的三个特征函数为：

使用GIS（Genera1ized Iterative Sca1ing）训练模型参数。求出对应的特征函数的值，建构条件随机场模型。

2 基于条件随机场模型的手势识别

2.1 条件随机场模型的训练

最大化条件似然对数P（c|X）是条件随机场模型训练的目标，其中c为类别，每一个类别c中都存在特定的状态序列，因此最大化P（c|X）等同于最大化p (S ∈c|X)，通过微分求极值的运算后得到最终结果，即特征函数的期望与真实模型期望相等时，条件似然对数最大。

特征函数实验期望值的计算，每一个接受训练的模型都有对应的训练数据。我们可以得到这些数据对自己所属模型的分割与似然分数，因此我们可以求出每一个对应的特征函数值，最后再将相同的特征函数在训练数据中得到的分数相加，就的到了特征函数的实验期望。

在计算特征函数真实模型期望时，要考虑每一个观察序列对每一个类别都有影响，因此不能认为观察序列所属的类别是已知的。我们必须获得所有观察序列对每一个类别的分割信息与累积分数。在计算某个特征函数时，因为这个状态只会出现在某个类别中，因此在计算时，只会有一个被加进来。因此我们可以计算出每一个特征函数的真实模型期望。步骤如下：

1）计算每一个特征函数的实验期望值；

2）参数初始化；

3）计算每一个特征函数的真实模型期望；

4）调整参数使得每一个特征函数的真实模型期望值逼近实验期望；

5）回到3），直到终止条件成立。

2.2 基于条件随机场模型的识别

当一个观察序列进入条件随机场之前，我们可以求出每一个特征函数值，在特征函数值算好后，则可以代入鉴别函数中，求的这个观察序列对于每一个动作的分数。鉴别函数为

其中ci为第i个动作类别，X为测试中的观测值序列。

使用Microsoft Visau1 C++ 6.0实现了本文的算法。动态手势样本选用瑞士IDIAP的两手数据库。这个数据库中总共包括7个双手手势视频 ，分别为 Push、Up、Down、Front、Back、Left、Right。数据库中包括训练样本和测试样本，训练样本中，每个动作有70部。训练样本中，每个动作有60部。从数据库中取100部视频，其中30部作为训练样本，70部作为测试样本。通过训练条件随机场模型，并进行识别实验，实验结果显示识别率均在70%以上。

3 结论

本文将条件随机场应用于动态手势识别，解释手势动作序列之间的相关性。用联合树算法将存在回路的条件随机场架构转换成子图树，用树状推演算法计算整体的联合概率。基于隐马尔可夫模型，获得适合于连续变量的特征函数。利用本文的算法进行了手势识别实验，取得了较理想的识别率。

[1]杜友田.基于视觉的人的运动识别综述[J].清华大学自动化系.电子学报，2007(1).

[2]任雅祥.基于手势识别的人机交互发展研究[J].计算机工程与设计，2006(7).