李　茹　张建伟

(1.四川大学计算机学院　成都　610065)(2.四川大学视觉合成图形图像技术国家重点学科实验室　成都　610065)



基于IMF解析信号能量熵的人脸表情特征提取方法*

李茹1,2张建伟1,2

(1.四川大学计算机学院成都610065)(2.四川大学视觉合成图形图像技术国家重点学科实验室成都610065)

摘要人脸表情识别是指利用计算机技术、图像处理、机器视觉等技术对人脸表情图像或图像序列进行特征提取、建模,以及表情分类的过程,从而使得计算机程序能够依据人的脸部表情信息推断人的心理状态。人脸表情识别主要分为三个阶段:人脸检测、表情特征提取、表情特征分类。其中,表情特征的选取是人脸表情识别的关键步骤,特征选取的好坏直接影响表情分类的效果。论文提出了一种基于IMF解析信号能量熵的人脸表情特征提取方法,将希尔伯特黄变换方法应用到人脸表情识别中。首先,对表情图像进行Radon变换,得到人脸表情信号,然后对该信号进行经验模态分解(EMD),得到一系列本征模态函数(IMF),对得到本征模态函数(IMF)进行Hilbert变换,得到IMF解析信号,计算瞬时振幅,瞬时频率。选择IMF以及其解析信号的振幅作为特征向量,计算其能量判别熵,选择同类之间有较小判别熵,不同信号类之间有较大判别熵的特征作为表情分类的特征向量。采用PCA算法对选取的特征进行降维,使用支持向量机(SVM)对两类表情进行分类。

关键词EMD; IMF; Hilbert; 能量判别熵; 人脸表情识别; 特征提取

Facial Expression Feature Extraction Based on the J-divergence Entropy of IMF

LI Ru1,2ZHANG Jianwei1,2

(1. School of Computer, Sichuan University, Chengdu610065)

(2. State Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University, Chengdu610065)

AbstractFacial emotion or facial expression recognition refers to using computer technology, image processing and machine vision technology to process the object from a given image or video sequence for feature extraction, modeling, classification to identify the psychological mood of the subject. Facial expression recognition is mainly divided into three stages, including face detection, face feature extraction and expression classification. Expression feature extraction and selection is a key step in efficient and effective facial emotion recognition and may affect the classification results. In this study, a novel approach of face expression feature extraction is proposed based on energy entropy of IMF analytic signal. Firstly, a Radon transform is made for the facial image to obtain a facial signal and the facial signal is decomposed into a number of IMFs, using the EMD algorithm. Then, with the Hilbert transform for etch IMF, the amplitude of IMF analytic signal can be acquired. In this work, the element which has larger discriminant entropy between the different classes and smaller discriminant entropy is chosen in the same class as the feature vector for emotion classification. Principal Component Analysis (PCA) is independently applied on features extraction for dimensionality reduction. These dimensionality reduced features are fed to the Support Vector machine (SVM) classifiers for classification.

Key WordsEMD, IMF, Hilbert, J-divergence entropy, facial expression recognition, feature extraction

Class NumberTN911.7

1引言

人脸表情识别是指从给定的表情图像或者视频序列中分析检测出特定的表情状态,进而确定被识别对象的心理情绪。

近年来,gabor滤波器[1~2],小波变换[3~4],边缘检测[5],离散余弦变换[6~7]和局部二进制模式[8~9]等技术不断被应用于人脸表情识别研究中。

由于将人脸进行Radon变换[10]后得到的信号属于非平稳信号,针对非平稳信号我们采用Hilbert-Huang[11]变换进行处理。该方法包括经验模态分解及Hilbert变换两部分。本文采取EMD分解算法将处理后的人脸表情信号进行分解,得到一系列IMF分量,然后介绍基于能量熵的分类特征的选取,并通过仿真实验给出分析结果。

2图像预处理

实验表明[12],嘴角形状对表情的影响最大,其次是眼睛和眉毛,因此对表情人脸进行图像分割的目标就是要精确定位和分离出嘴巴、眼睛和眉毛等局部持久表情特征子区域。从表情图像中分割出与表情有关的子区域后,需要对子图像进行几何及尺寸归一化处理。处理后的部分样本图如图1所示。

图1　CK库中分割样本图

3基于IMF的人脸表情特征选取

3.1EMD的简介

从本质上说,EMD是一个对信号进行平稳化处理的过程,它基于信号的局部特征尺度,可以将任意信号中不同尺度的波形或趋势逐级分解出来,对原始的非平稳、非线性时间序列进行经验模态分解,产生一系列具有不同特征尺度的数据序列,每个序列作为一个本征模态函数(IMF)。

根据IMF的定义,对原始信号进行n阶经验模态分解,获得n个IMF分量和剩余信号。经过EMD分解后原始非平稳、非线性信号可以表示为IMF分量及剩余剩余趋势rn项之和[13~14],即

(1)

式中:ci代表每个IMF;rn代表剩余信号。

对Radon变换后的人脸表情信号进行EMD分解后得到的信号图如图2所示。

图2　对惊讶表情进行EMD分解后的IMF分量及剩余分量

3.2Hilbert变换

经过EMD后,对每个IMF进行Hilbert变换,可得到原始信号的Hilbert谱[13~14]。具体步骤如下。

对每个IMF分量进行Hilbert变换,可形成解析信号ci(t)+jHT(ci(t)),式中,HT(ci(t))为ci(t)的Hilbert变换。

(2)

解析信号的幅度可以表示为

(3)

解析信号的相位可以表示为

θi(t)=arctan(H(ci(t))/ci(t))

(4)

再求导可得瞬时频率

wi(t)=dθi(t)/dt

(5)

这样,原信号x(t)可描述为

(6)

3.3基于IMF能量判别熵的人脸表情特征选取

表情特征的选取是人脸表情识别的关键步骤,特征选取的好坏直接影响表情分类的效果,其根本任务是从众多的特征中找出对目标识别最有效的特征。由图2可知,每阶IMF分量含有不同频率成分,IMF的阶数越低,其所含高频成份愈多。在同一阶IMF分量上,不同类别的信号有着不同的频率成分,而且频率、幅度相差很大。IMF解析信号的幅度,频率与数据的特征有紧密关系,因而可以考虑采用IMF解析信号以及该信号的的幅度或频率作为分类的特征。通过实验选择最优特征。

在特征选择中,需要一个定量的准则来衡量特征分类的有效性。通过对信号EMD过程的分析和可分性测度的仿真计算,选择各类特征向量的均值分散度来度量该分量对分类的重要性,并用相对熵作为分散度的测度[13]。

相对熵定义为v(p,ω)=∑p(xi)log[p(xi)/ω(xi)]≥0,可以用来作为某个概率分布密度p(xi)偏离给定标准分布ω(xi)程度的度量,相对熵越大,这两类概率分布的差别就越大。因此,可定义判别熵W(p,q)来表征两类分布p(xi)和q(xi)的差别大小[15]。

w(p,q)=v(p,q)+v(q,p)

=∑p(xi)logp(xi)-∑p(xi)logq(xi)

+∑q(xi)logq(xi)-∑q(xi)logp(xi)

(7)

式中i代表类别号,在不对概率分布进行估计的情况下,可用归一化处理的样本特征值来代替上式中的概率分布。

其中,n表示样本个数。

归一化后的均值为

(8)

(9)

用

(10)

作为特征向量X(i)可分型的熵度量。

4基于IMF能量判别熵的分类实验

基于IMF解析信号的振幅能量判别熵的人脸表情特征提取方法流程图如图3所示。

图3　基于IMF解析信号的振幅能量判别熵的

4.1实验数据

在CK数据库上的实验为保证数据的有效性,实验时,有选择地选取不同光照条件下,不同人种的实验对象的表情序列,本文选取每个序列的前两个图像作为中性表情,为了保证表情样本的多样性,我们选取各个序列的中间以及最后两幅图片作为实验对象。实验时,采用2-fold方法对算法进行交叉验证,即将实验数据划分成两个没有重叠图像的两组数据集合X1和X2,其中,X1包含所选序列的中间两幅及最后两幅图片中的各一幅图像,X2包含每一个所选序列的剩余两幅图像。训练及测试样本集X1和X2中每个样本集均包含154张图片,其中高兴表情76张,惊讶表情78张。

4.2实验结果与分析

对训练样本和测试样本两类表情进行分类,用式(7)~式(10)计算IMF1~IMF8分量及其分量解析信信号的振幅,频率的判别熵。

选择IMF解析信号的振幅作为表情分类特征的实验。

表1给出s1(高兴表情类)和s2(惊讶表情类)两类表情的IMF解析信号的振幅能量判别熵。其中S_AMP表示同类表情图片经过EMD分解后得到的IMF1~IMF8解析信号的振幅判别熵,D_AMP表示不同类之间的判别熵。

表1　两类表情IMF解析信号振幅判别熵

实验1:X1为训练数据,X2为测试数据,累计方差贡献率选择91%,分别计算以IMF1~IMF8解析信号的振幅为特征向量的分类正确率。

实验2:X2为训练数据,X1为测试数据,累计方差贡献率为91%,分别计算以IMF1~IMF8解析信号的振幅为特征向量的分类正确率。

计算实验1和实验2的平均分类正确率,分类结果如表2所示。

为了保证分类器有较好的分类性能,通常选择那些在不同类别的样本之间有较大判别熵,同时在同类的样本之间有较小判别熵的特征向量进行分类器设计;观察表1可知IMF1~IMF4分量以及该分量的的解析信号的振幅符合上述条件,观察表2的分类结果可知当选择IMF1~IMF4解析信号的振幅做特征向量时,两类表情有很好的区分度,分类正确率较高。

表2　使用IMF1~IMF8解析信号的瞬时频率

5结语

本文对基于IMF解析信号振幅判别熵的人脸表情特征特取方法及分类试验进行了介绍。从分类试验的过程可以看出,基于IMF解析信号振幅判别熵的特征提取方法非常简单,计算量小,从分类试验的结果看,以IMF1解析信号的振幅作为特征向量该两类表情的分类效果最好。

参 考 文 献

[1] Donato G, Bartlett, M S, Hager, J C, et al. Classifying facial actions[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1999,21(10):974-989.

[2] Deng, H B, Jin, L W, Zhen, L X, et al. A new facial expression recognition method based on local gabor filter bank and PCA plus LDA[J]. International Journal of Information Technology,2005,11(11):86-96.

[3] Shih, F Y, Chuang, C F, Wang, P S P. Performance comparisons of facial expression recognition in JAFFE database[J]. International Journal of Pattern Recognition,2008,22(3):445-459.

[4] Kazmi, S B, Qurat-ul-Ain, Jaffar, M A. Wavelet-based facial expression recognition using a bank of support vector machines[J]. Soft Computing,2012,16(3):369-379.

[5] Ilbeygi, M, Hosseini, H S. A novel fuzzy facial expression recognition system based on facial feature extraction from color face images[J]. Engineering Applications of Artificial Intelligence,2012,25:130-146.

[6] Kharat, G U, Dudul, S V. Emotion recognition from facial expression using neural networks[C]//Z S Hippe & J L Kulikowski(Eds), Human-computer systems interaction, AISC 60,2009:207-219.

[7] Gupta, S K, Agrwal, S, Meena, Y K, et al. A hybrid method of feature extraction for facial expression recognition[C]//7th international conference on signal image technology & internet-based systems,2011:422-425.

[8] Zhang, S, Zhao, X, Lei, B. Facial expression based on local binary patterns and local fisher discriminant analysis[J]. WSEAS Transactions on Signal Processing,2012,8(1):21-31.

[9] Zhao, X, Zhang, S. Facial expression recognition based on local binary patterns and kernel discriminant isomap[J]. Sensors,2011,11(10):9573-9588.

[10] Hasimah Ali, Muthusamy Hariharan, Sazali Yaacob, et al. Facial emotion recognition using empirical mode decomposition[J]. Expert Systems with Applications,2015,42:1261-1277.

[11] Huang, N E, Shen, Z, Long, S, et al. The empirical mode decomposition and Hilbert spectrum for nonlinear and non-stationary time series analysis[C]//Proceedings of the Royal Society of London, 454, 903-995. R Soc, Lond,1998,454(12):903-995.

[12] Liu Xiaomin, Tan Huachun, Zhang Yujin. The new progress in the study of facial expression recognition[J]. Chinese Journal of Image and Graphics,2006,11(10):1359-1368.

[13] 张小蓟,张歆,孙进才.基于经验模态分解的目标特征提取与选择[J].西北工业大学学报,2006,24(4):453-456.

ZHANG Xiaoji, ZHANG Xin, SUN Jincai. Feature extraction and selection based on empirical mode decomposition[J]. Journal of Northwestern Polytechnical University,2006,24(4):453-456.

[14] 王健锋,黄晓霞.基于EMD和Hilbert变换的脑磁信号特征提取和分类[J].上海海事大学学报,2014,35(3):90-94.

WANG Jianfeng, HUANG Xiaoxia. Feature extraction and classification of agnetoencephalography based on EMD and Hilbert transform[J]. Journal of Shanghai Maritime University,2014,35(3):90-94.

[15] ZHANG Xiaoji, ZHANG Xin, SUN Jincai. Feature extraction and classification experiment based on energy entropy of IMF’S[J]. Computer Engineering and Pplications,2008,44(4):68-69.

中图分类号TN911.7

DOI:10.3969/j.issn.1672-9722.2016.03.032

作者简介:李茹,女,硕士研究生,研究方向:数字图象处理。张建伟,男,博士,研究员,博士生导师,研究方向:数字图象处理与计算机图形学、空管自动化。

基金项目:支持群体交互的大规模虚拟环境构建技术及系统(编号:2013AA013902)资助。

收稿日期:2015年9月11日,修回日期:2015年10月27日