张前进1，陈祥涛2，卜文绍1



一种基于平均步态能量图的身份识别算法

张前进，陈祥涛，卜文绍

（1．河南科技大学电子信息工程学院，河南洛阳 471003；2．河南科技大学现代教育技术与信息中心，河南洛阳 471003）

提出一种基于步态能量图(GEI)的嵌入式隐马尔可夫模型(e-HMM)身份识别方法。首先通过预处理提取出运动人体的侧面轮廓，根据步态下肢的摆动距离统计出步态周期，得到平均步态能量图。对能量图的各区域进行分析，利用二维离散余弦变换(2D-DCT)将能量图观测块转化为观测向量，实现嵌入式隐马尔可夫模型的训练和身份识别。最后在USF和CASIA步态数据库上对所提出的算法进行实验。实验表明该方法具有较好的识别性能，是一种有效的步态识别方法。

计算机应用；生物特征识别；嵌入式隐马尔可夫模型；步态能量图

步态识别是一种新型的生物特征识别技术。所谓步态识别主要是指通过每个人独特的行走姿势来识别人的身份。区别于人脸识别、指纹识别、虹膜识别等识别技术，步态识别作为一种生物特征具有以下几个特点：易于观察、难于伪装、对系统分辨率要求低、远距离识别等。因此，步态识别是一种理想的非侵犯性生物识别技术。

近年来国内外对于步态识别的研究已经取得了不少成果。Sarkar等人提出了步态识别的基线算法。首先半自动地跟踪行人，提取剪影；然后进行步态周期的探测，将整个探测序列分为个子序列，每个子序列的长度为所探测到的步态周期长度；利用模板匹配的方法得到训练子集和测试子集之间的相似度。Han等将一个步态序列中所有轮廓图的平均值称为步态能量图，进行特征提取，研究表明该方法对低质量的步态轮廓图具有较强的适应性。Wang等提出了一种人体轮廓解环绕提取距离信号的步态识别算法，建立了一个20人的步态数据库进行实验，取得了较好的效果。赵国英等提出了基于反射对称的步态识别方法，利用关键帧的反射对称作为步态特征识别测试序列。反射对称隐含表示了人体行走时胳膊和身体的摆动习惯。顾磊等运用多区域侧影面积的方法识别身份，将视频序列中检测出的步态侧影划分为5个子区域，提取每个子区域中的侧影面积并计算步态序列中面积的变化特征，来构成描述步态序列的特征向量。马勤勇等提出了基于瞬时步态能量图的远距离身份识别，根据步态序列中一个关键时刻的所有侧面轮廓图的平均值构成一个平均瞬时图，计算出所有关键时刻侧面轮廓图相对应于瞬时步态能量图的偏移累计图像，与步态能量图共同作为描述一个对象的特征向量。

HMM在语音识别的应用中已取得较大成功，近年来被引入到人脸检测、表情识别和步态识别。文献[7]利用基本型HMM对步态序列进行身份识别，Kale认为步态周期可以被看作一个双重随即过程，其中隐过程被表达为站姿之间的转移，而可观察量是在某个特定站姿下所对应的图像。本文引入一种更具强健性的e-HMM对平均步态能量图进行身份识别。首先对序列预处理提取出运动人体的侧面轮廓，根据步态下肢的摆动距离统计出步态的周期，得到平均步态能量图。然后对能量图的各区域进行分析，利用二维离散余弦变换将能量图观测块转化为观测向量，实现e-HMM的训练和身份识别。最后在USF和CASIA步态数据库上对所提出的算法进行实验。实验表明该方法具有较好的识别性能。

1 预处理技术

1.1 步态检测与跟踪

预处理阶段需要对运动目标进行提取。常用的方法有背景减除法、时间差分法、光流法等，本文采用背景减除方法。中值法是一种非线性平滑技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。中值法从图像序列中恢复出背景图像，将输入的连续帧图像像素值的中间值作为背景图像的像素值。令代表一个包含帧图像的序列，则背景图像可表达为

亮度变化通过当前图像和背景图像的差分来获得，有时由于亮度变化太低而难以从噪声中将运动目标完全地提取出来，本文使用间接执行差分操作。

图1 预处理后的图像

对上面步骤处理后的图像进行边缘跟踪，求得人体图像的轮廓。用复数形式表示为

确定行人内在运动的一个重要线索是人体轮廓形状随时间的变化。为了减小计算的复杂度，将二维轮廓形状变化转换为一维距离信号来表达步态运动的时空变化模式。侧重腰部以下人体下肢的运动变化，选择最低边缘点作为参考点，从下向上将轮廓边界展开为相同纵坐标的最左和最右两点和的距离。

从人体侧面轮廓图像序列可以看出，步态数据是准周期性的时变数据。人体侧面的下肢轮廓宽度会经过一个周期性的变化，即有一个从最大到最小又到最大的变化过程，此处利用两条腿的轮廓宽度变化来进行周期性分析。另采用轮廓分析步态时，从轮廓中无法区分左右腿。两腿的宽度随着帧序号的变化如图2所示，对应的。

图2 步态周期性分析

步态的周期在文中定义为连续出现两个波峰或波谷的时间段。取不同的值轮廓对应的宽度是有变化，但这个变化并不影响步态的准周期性，即取不同的值轮廓宽度的幅值变化，其准周期性不变。

1.2 平均步态能量图

经过上面的步骤，人体轮廓已经从步态序列中被提取出来。GEI是一种用轮廓构造的时空步态表征方法。按照文献[2]的方法构造出人体序列中每一个步态周期的能量图，再计算序列中完整周期步态能量图的平均图像。

假设对象的步态序列中有个完整的步态周期，第个步态周期的步态能量图表示为，则该步态序列的平均步态能量图（见图3）为

2 基于GEI的e-HMM身份识别

2.1 e-HMM概述

典型的HMM是一维结构，可以用于分析一维随机信号。如果将HMM结构中的每一个隐状态内嵌入一个HMM，该模型即为e-HMM，其中外部HMM的隐状态称为超状态，内部HMM的隐状态称为嵌入态。如图4所示，身份识别的e-HMM——33666模型。垂直方向上的主HMM为超状态，每个垂直分区包含一个子状态。所以e-HMM由垂直方向的主HMM和水平方向嵌入的多组子HMM组成，主HMM中每个状态由一个子HMM构成。

图4 身份识别的e-HMM——33666模型

（1）超状态参数

（2）子状态参数

2.2 e-HMM的模型训练

e-HMM训练的目的就是利用一组训练样本确定其优化参数。身份识别是利用双向嵌入式Viterbi算法计算所有训练模型产生观察向量的概率，寻求最大匹配概率。图5为整个系统的训练和识别流程框图。

图5 e-HMM的训练和识别框图

训练流程框图的具体描述如下：

Step 1 根据e-HMM的结构特性对图像数据进行整体分割。首先根据从上至下的超状态个数将观测向量分为个部分，然后再根据每个超态中所含的状态数将每个部分再细分为个部分。

Step 2 对模型参数进行初始化，利用双重嵌入式Viterbi算法分割状态序列。在HMM模型中，Viterbi算法是为解决已知模型和观测序列的条件下，从所有可能的隐状态序列中找出一个隐状态序列，使该观测序列的概率最大。双层Viterbi算法分别从水平与垂直两方向进行Viterbi操作。对数运算不仅可以处理数字精度问题，并可将乘积运算简化为加法运算，且运算可逆，所以用代替。若变量和分别表示第行所处超状态和观测序列，则为第行超状态时观测向量概率对数的最大值，即。

Step 3 模型参数重新估算采用分段K均值(Segmental K-means)方法。该方法效果等同双重嵌入式Baum-Welch算法，且处理速度快，同时可以避免Baum-Welch算法的溢出问题。Segmental K-means模型参数估计如以下公式所示

Step 4 如果重新估算参数使得Viterbi分割似然值收敛，则迭代结束，训练完成；否则重复Step 2。

2.3 基于GEI的e-HMM身份识别

根据图5所示的e-HMM训练和识别框图。选用原始的平均步态能量图像的像素点直接转化为向量，则观测向量维数太大、运算量大。故本文采用2D-DCT来提取能量图的特征数据。把分割后的每一个平均步态能量图像块提取的2D-DCT系数作为e-HMM的观察向量。根据2D-DCT的压缩性，其低频部分系数代表了图像的大部分信息，能有效地表示图像特征，并在一定程度上降低维数，所以本文以低频部分的2D-DCT系数作为e-HMM的观察向量。接着计算该能量图的观察值向量与步态数据库中训练e-HMM的相似率。相似率反映了待识别人的能量图观察值向量与步态数据库中训练模型的相似程度。根据模式识别中最近邻算法原理，如果能量图库中共有个人，未知人是，则中的值应该为最大，即为识别的结果。

3 实验结果与分析

3.1 CASIA步态数据库实验分析

首先用CASIA步态数据库来评估所提出的步态识别算法。该数据库有124个人组成，每个人的序列是从0°到180°之间，以18°递增的11个不同视角。数据库中的每个人有10个行走序列，其中有6个正常的行走序列（定义为Set A），2个挎包的序列（定义为Set B），2个穿大衣的序列（定义为Set C）。把每一个人Set A中的前3个序列作为训练子集（定义为Set A1），剩下的作为测试子集（定义为Set A2）。Set B和Set C的前一个序列作为训练子集（（定义为Set B1）和（定义为Set C1）），剩下一个序列作为测试子集（（定义为Set B2）和（定义为Set C2））。

本文选用库中的20个人进行实验，序列的视角均为90°的正侧面视角。实验中选用最近邻法（每个序列被分类到离它最近的邻居所属的类中）进行身份识别；并采用留一校验法(leave-one-out cross validation)测试，实验结果如图6所示。从实验结果可以看出，实验A的实验效果好于实验B和C。这是由于Set A集合中人行走时相对Set B和Set C集合的图像实际信息维数较小，2D-DCT变换后的低频系数更能有效地表征其图像特征。Set B和Set C集合相对Set A集合来说，图像较复杂，2D-DCT变换后低频部分系数虽然代表了图像的大部分信息，相比Set A集合在降维的同时丢失了较多的图像特征信息。

图6 90°视角实验结果

3.2 USF步态数据库实验分析

接着用USF步态数据库来评估所提出来的步态识别算法。参考文献[1]的方法，将USF数据库中的数据分为多个不同的组。用于训练的已知对象被划分为一组，包括122个对象的行走图像序列。用于测试的对象共有12组，依次称作A-L，包括这些对象在其它状态下的行走图像序列。实验选择基线算法、MSCT&SST算法、GEI算法与本文算法进行比较。基线算法是与USF步态数据库同时提出的一个有代表性算法；MSCT&SST算法是结合静态与运动模板的方法；GEI算法是近几年步态识别研究中的经典算法。表1中列出了本文算法与3个典型算法在USF步态数据库上的识别率。Rank是在人脸识别和步态识别中常用的识别参数，表示算法计算出来的与待识别对象最相似的前个对象中包含真实对象的比率。

表1 本文算法与另外3种算法在USF上识别率(%)

从表1中可以看出，本文算法的平均识别率对于第Ⅱ类对象均高于其它3种算法。在第Ⅰ类中，本文算法明显好于基线算法，略低于GEI和MSCT&SST的算法。在第Ⅲ类中，除了在MSCT&SST算法的Rank 5情况识别率略微有些降低，其它对象的识别率都有较大的提高。总体来看，本文算法在总体的性能上好于其它3种方法。

4 结 论

本文提出一种基于步态能量图的e-HMM身份识别方法。对序列预处理提取出运动人体的侧面轮廓，根据步态下肢的摆动距离统计出步态周期，得到平均步态能量图。然后对能量图的各区域进行分析，利用2D-DCT将能量图观测块转化为观测向量，实现e-HMM的训练和身份识别。在USF和CASIA步态数据库上对所提出算法的进行实验，结果表明该方法是一种有效的步态识别方法。

[1] Sarkar S, Phillip S P Jonathon, Liu Z,et al.The human D gait challenge p roblem: data sets, performance, and analysis [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(2): 162-177.

[2] Han J, Bhanu B. Individual recognition using gait energy image [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2006, 10(2): 316-322.

[3] Wang Liang, Tan Tieniu, Hu Weiming, et al. Automatic gait recognition based on statistical shape models [J]. IEEE Trans on Image Processing, 2003, 12(9): 1120-1130.

[4] 赵国英, 向世明, 李 华. 基于反射对称的步态序列识别[J].计算机辅助设计与图形学学报, 2005, 17(10): 2239-2244.

[5] 顾 磊, 吴慧中, 肖 亮. 一种基于多区域侧影面积的步态识别算法[J]. 模式识别与人工智能, 2008, 21(5): 658-663.

[6] 马勤勇, 王申康, 聂栋栋, 等. 基于瞬时步态能量图的远距离身份识别[J]. 电子学报, 2007, (35)11: 2078-2082.

[7] Kale A, Sundaresan A, Rajagopalan A N, et al. Identification of humans using gait [J]. IEEE Transactions on Image Processing, 2004, 13(9): 1163-1173.

[8] Kuno Y, et al. Automated detection of human for visual surveillance system [C]//Proceedings of International Conference on Pattern Recognition, Vienna, 1996: 865-869.

[9] 郑芳颖, 赵杰煜. 基于改进型嵌入式隐马尔科可夫模型的表情识别方法[J]. 模式识别与人工智能, 2008, 21(6): 836-842.

[10] Kuo S S, Agazzi O E. Keyword spotting in poorly printed documents using pseudo 2D hidden markov models [J]. IEEE Trans on PAMI, 1994, 16(8): 842-848.

[11] Rabiner L R. A tutorial on hidden Markov models and selected applications in speech recognition [C]//Proceedings of the IEEE, 1989: 257-286.

[12] Anil K Jain, Robert P W Duin, Mao J ianchang, et al. Statistical pattern recognition: a review [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(1): 4-37.

[13] Lam THW, Lee RST, Zhang D. Human gait recognition by the fusion of motion and static spatio-temporal templates [J]. Pattern Recognition, 2007, 40(9): 2563-2573.

A Human Recognition Scheme Based on Mean Gait Energy Image

ZHANG Qian-jin, CHEN Xiang-tao, BU Wen-shao

( 1. School of Electronics and Information Engineering, Henan University of Science and Technology, Luoyang Henan 471003, China; 2. Modern Education Technology and Information Center, Henan University of Science and Technology, Luoyang Henan 471003, China )

An embedded hidden Markov model(e-HMM) human recognition scheme based on gait energy image(GEI) is proposed. First a preprocess technique is used to segment the moving silhouette from the walking figure. The algorithm obtains the gait quasi-periodicity through analyzing the width information of the lower limbs’ gait contour edge, and the mean GEI is calculated from gait periodic. It makes use of an optimized set of observation vectors obtained from the two dimensional discrete cosine transform(2D-DCT) coefficients of the mean GEI regions. The e-HMM is trained and used for the gait recognition. The proposed algorithm is evaluated on USF and CASIA Gait Database. The experimental result shows that the proposed approach is valid and has encouraging recognition performance.

computer application;biometrics recognition; embedded hidden Markov models; gait energy image

TP 391

A

1003-0158(2011)01-0039-06

2009-07-20

河南省重点科技攻关资助项目（082102240086）

张前进（1979-），男，河南开封人，讲师，硕士，主要研究方向为生物特征识别。