文/于乐

基于运动历史图和支持向量机的手势识别

文/于乐

利用背景建模得到运动目标的前景后，如何对动作提取有效的信息进行分类是能否成功识别手势的关键。本文利用混合高斯模型GMM得到的前景图像序列获得运动历史图MHI，进而对各个动作的MHI提取HOG特征，通过支持向量机SVM的训练后可以准确识别不同的手势动作。

手势识别背景建模 MHI 支持向量机

运动的跟踪和分类是计算机视觉中重要的研究方向，在视频监控、人机交互中有广泛的应用。目前利用深度传感器和可穿戴传感器可以准确地识别动作，但是成本较高，本文采用普通摄像头采集图像，通过分割前景、特征提取和训练分类器三步实现手势识别。

1 基于背景建模提取前景

本文采用背景建模法中的混合高斯模型，该模型对每一个像素用多个高斯分布函数来描述，从而建立起场景的背景图像，在用当前帧与背景图像进行背景减除，再通过膨胀和腐蚀等操作得到运动前景。因为混合高斯采用多峰分布，所以可以滤去反复抖动的背景，从而提高了鲁棒性和准确性。

得到的运动前景图和背景图像如图1所示，可见背景图像保留了不运动的区域，而前景图有效地分割出了运动区域。

图1：基于混合高斯模型的前景图和背景图

2 获取MHl图像并提取特征

运动历史图MHI的原理是根据连续图像序列在时间上的叠加，对运动动作提供一个全局描述。具体操作是对一段时间内每个像素的值进行加权叠加，从而得到有方向性的动作描述图像。该方法的计算公式如式(1)所示，其中B(X,Y)是前景图像序列，τ是时间窗口长度。

得到的当前前景图和运动历史图如图2所示，其中前景图值包含当前帧运动目标的信息，而运动历史图可以描述整个动作，图中为画圆的动作，其中颜色越深说明距离当前时间越近，所以可以推断出图中的圆为逆时针画圆。

图2：根据前景图得到的运动历史图

在得到MHI后对其提取方向梯度直方图HOG特征，因为一幅图像中目标的表象和形状能够被梯度或边缘的方向密度分布来描述，所以可以通过计算和统计图像局部区域的梯度方向直方图来提取特征。具体操作为将MHI二值图分成细胞单元，然后采集每个小的连通区域中像素点的方向直方图，最后将直方图结合起来。

在本文中先对MHI降维成64×64的图像，进行提取后每张MHI得到1764个HOG特征，将所有单元的HOG特征串联起来就得到该时刻MHI的检测子descriptor。

图3：依次为向右、向下、对钩、画圆

3 手势动作的标记和识别

在得到大量手势识别的样本后，可以进行SVM训练。其中正样本为每个动作结束时的运动量历史图，标记为1，负样本为其他非特殊动作图像，标记为0，将正负样本的HOG特征作为输入向量放入SVM中进行训练，训练好的分类器保存在XML文件中，在之后识别时不再需要训练SVM，只需载入该分类器即可。

4 实验结果分析

本文采用的样本包括上下左右移动、对钩、打叉、画圆七个动作，最终测试录像未参与训练。分类器得到的结果会实时显示在图像上，结果如图3所示。

将7个动作一次标号为1-7，未检测标号为0，得到动作-时间图像如图4所示。

图4：动作序号-时间图像

由图像可以发现两个问题，一是第一个动作没有识别处理，这是因为开始混合高斯模型还未完全建立，此时无法准确提取出前景目标，想要快速建立可以提高模型更新的学习率。二是在第五个和第六个动作中出现了误检，这是因为在训练SVM分类器时正样本数量还不够，若继续增加样本数量，可以进一步提高准确率。

至此完成了对手势动作的识别，其中准确率较高，误检率为1.9%，同时处理图像的速度也满足实际应用的要求。在此基础上，可以将识别出的结果应用于诸多领域，实现手势操控的人机交互。

[1]Stauffer C,Grimson W E L.Adaptive Background Mixture Models for Real-Time Tracking[C].cvpr.IEEE Computer Society,1999:2246.

[2]Davis J W.Hierarchical Motion History Images for Recognizing Human Motion[C].Detection and Recognition of Events in Video, 2001.Proceedings. IEEE Workshop on. IEEE,2001:39-46.

[3]Dalal N,Triggs B.Histograms of oriented gradients for human detection[C].IEEE Computer Society Conference on Computer Vision & Pattern Recognition.IEEE Computer Society,2005:886-893.

作者单位东南大学自动化学院 江苏省南京市 210096