陈亚雄，王西博，王 超

（西北工业大学 电子信息学院，陕西 西安 710129）

基于亮度检测检测和SVM的人脸表情识别算法

陈亚雄，王西博，王 超

（西北工业大学 电子信息学院，陕西 西安 710129）

针对包含表情信息的静态图像，提出基于皮肤检测和SVM的人脸表情识别算法。首先根据先验知识，并使用皮肤检测和积分投影相结合定位眉毛眼睛区域和嘴巴区域，自动分割出表情子区域。接着，对分割出的表情子区域进行Gabor小波特征提取，在利用Fisher线性判别对特征进行降维，去除冗余和相关。最后利用支持向量机对人脸表情进行分类。用该算法在日本表情数据库上进行测试，获得了较高的识别准确率。证明了该算法的有效性。

亮度检测；表情特征提取；Fisher线性判别；支持向量机

人脸表情识别是指从给定的表情图像或视频序列中分析检测特定的表情状态，进而确定被识别对象的心理情绪。人脸表情识别技术在心理学研究、图像理解、合成脸部动画以及新型人机交互等领域有着重要的应用价值。

人脸表情识别一般包括3部分：脸部定位、脸部特征提取和表情分类。该研究的一个难点就是如何提取出完整、鲁棒、紧凑且富有区分性的表情特征，以提高分类的准确程度。近年来出现了很多识别静态图像表情的方法：文献[1]中提出了一种基于模板的表情识别方法；文献[2]中将Gabor小波（或独立成分分析）和支持向量机 （Support Vector Machine，SVM）结合起来识别面部表情；文献[3]利用Gabor小波和BP神经网络分类表情；文献[4]使用隐马尔科夫模型进行表情识别；然而，这些方法或者需要人工定位很多面部关键点，不能实现自动化识别，或者识别率较低。

文中首先对静态表情图像进行预处理，然后分割出表情子区域，接下来采用Gabor小波变换从人脸图像眼部和嘴部子区域提取特征，并引入Fisher线性判别分析（Fisher Linear Discriminant Analysis，FLD）算法进行特征选择，再以支持向量机为基础构造分类器识别表情，得到了很好的效果。

1 图像预处理

表情特征提取的目标是提取出能很好表征表情变化的特征。在进行特征提取之前，需要对输入的表情图像进行预处理，包括去噪、人脸检测、人脸区域几何归一化、灰度归一化以及表特征区域的定位。

人脸表情识别首要的工作就是人脸图像的分割，文中手动分割出人脸区域，并几何归一化为120×150个像素大小。经观察发现，人脸表情特征分为两类：持久性表情特征和瞬态表情特征。持久性表情特征决定基本的表情状态，包括嘴巴、眼睛和眉毛；瞬态表情特征包括脸颊和额角皱纹的瞬间变化，能在一定程度上揭示表情状态。实验表明，嘴角形状对表情的影响最大，其次是眼睛和眉毛。而皱纹变化属于动态特征，且受年龄等因素影响较大，容易会对表情识别产生不利影响。因此表情识别应重点提取嘴巴、眼睛和眉毛等局部区域的表情特征，并忽略皱纹的变化。因此在提取表情特征之前需要自动定位和分离出持久性表情特征子区域。

1.1 眉毛眼睛区域的提取

采用亮度直方图和模式匹配的方法来定位眼球的坐标，然后根据人眼大小，统一将眼部区域扩大至40×50大小。

在选择区域中，很容易地发现，眼球和眉毛比其他区域要暗很多，基于以上可以分析候选窗口区域的灰度直方图。首先对窗口中所有的像素按灰度值进行排序，第二步选择出灰度值最小的5%的像素作为眼球的候选区域，根据公式（1）选取的阈值T，对该候选区域二值化，其中 h（x，y）为该坐标点的像素灰度值，N为窗口中的像素总数[6]。得到的二值图像如图1所示。

图1 眼球候区域位置图Fig.1 Eye ball candidate region binary image

然后对候选的二值区域按照公式（2），（3）进行水平和垂直投影，水平投影中可以得到两个极小的峰值，其中低的对应于眼睛点，高的对应于眉毛点，这样就可以得到眼球的竖直坐标。类似可以得到眼球的水平坐标。如图2所示。

图2 眼球定位结果Fig.2 Eyeball location result

然后根据得到的眼球坐标对人脸图像进行尺度和亮度归一化。最后根据眼球坐标扩充眉眼区域至40×50大小，如图（3）所示。

图3 扩充后的眉毛眼部区域Fig.3 Eye and brow region after extension

1.2 嘴部区域的提取

图4 嘴部中心位置Fig.4 Mouth center location

图5 嘴部区域结果Fig.5 Mouth region result

2 Gabor小波特征提取

Gabor小波核函数能够很好地描述哺乳动物初级视觉系统中一对简单视觉神经元的感受特性[7]，与傅里叶变换相比，Gabor小波变换具有良好的时频局部化特性，对光照变化不敏感，且能容忍一定程度的图像旋转和变形。所以文中选择Gabor小波变换来提取特征。

2.1 Gabor滤波器

Gabor小波变换是一种加高斯窗的傅里叶变换，它由一组不同尺度、不同方向的滤波器组成，二维Gabor小波核函数定义为：

其中：

根据以上叙述可知，Gabor滤波器的特性由尺度v和μ方向决定，选取一系列的尺度v和方向μ，则可以获得一组Gabor滤波器，称为Gabor滤波器组。选用的是3个尺度、8个方向的 Gabor滤波器组，如图 6 所示，将输入图像 I（x，y），依次与滤波器组的各个滤波器进行卷积，并取其幅值作为输出，即：

设预处理之后的图像大小为M×N，那么3×8个滤波器得到的Gabor小波特征矢量的维数一共是M×N×3×8维，维数很高。因此文中仅对上文提取出的左部眉毛眼睛区域和嘴部区域进行 Gabor小波变换， 共 50×40×24+80×30×24=105600维，考虑到Gabor特征像素间是高度相关和冗余的，因此，采用下2采样的方法，在采样点l：提取各个滤波器输出的值，联合起来组成列向量，得到105600／4=26400维的Gabor特征向量。然后把Gabor特征向量采用式（6）归一化到[0，1]区间。

图6 3个尺度8个方向的Gabor滤波器组Fig.6 Group of Gabor wavelets in 3 scales and 8 directions

其中，x，y分别为转换前后的值，valuemin和 valuemax分别为样本的最小、最大值。

2.2 FLD降维

经下采样后的Gabor特征，特征维数依然很高，因此，文中引入Fisher线性判别分析（FLD）算法进行降维。该算法的目标是最小化类内距离，同时最大化类间距离[7]。其具体形式描述如下：给定属于C类的N幅人脸表情训练样本{xi}Ni=1，每个训练样本用一个n维向量表示，则样本的类内散度矩阵Sw，类间散度矩阵Sb分别定义为：

式（9）对应的优化问题等价于求解SbW=λSwW的广义特征值。如果Sw可逆，则转换为求S-1wSbW=λW的标准特征值分解问题。选取最大的g个特征值对应的特征向量构成新的W，则新的特征向量 yi可表示为 yi=WTxi（i=1，2，…，N），FLD 最多有C-1个非零的特征向量，因此，子空间最多是C-1维，这里把表情分成7类（包括中性表情），故得到代表表情特征的空间最多是6维。

3 SVM表情分类器

SVM的基本思想是将训练样本经非线性变换映射到另一高维空间中，在变换后的高维空间内寻找一最优分界面，该分界面不但能将样本无错误或接近无错误分开，而且使类间空隙最大，从而具有很好的泛化能力。

设给定样本为（x1，y1），（x2，y2），…，（xm，ym），其中 yi∈{-1，1}，为所属类的类别号， 则分类面的方程为：（w·x）+b=0，w，b 满足：

即：

满足上述条件且使‖w2‖最小的分类面即最优分类面，其最优分类函数为：

其中：k（·，·）为核函数；sgn（）为符号函数；n 为训练样本个数；∂为每个样本对应的拉格朗日乘子；文中采用的是径向基内积函数。

SVM本身是一种两类分类器，而表情识别属于多类模式识别问题，本文采用“一对一”方式，对P个类构建P（P-1）2个两类分类器，每个分类器将其中2个类别相互区分开来。

4 实验结果及分析

本文分类 6种基本情绪 [高兴 （happy）、 悲伤（sadnes（fear）、厌恶（disgust）、惊奇（surprise）、生气（angry）]，使用日本女性人脸表情数据库 （Japanese Female facial expression JAFFE），在Visual C++6.0平台下进行实验。

在该数据库下采用以下实验方案进行测试，选取140幅人脸表情，包括10个人的7种表情，每种表情2幅，并采用10交叉验证的方法（即取9个人的表情做训练，另外1个人的表情做测试），循环lO次，取平均。

表1为同一表情库下4种算法识别效果的比较。

表1 4种算法的识别结果比较Tab.1 the recognition result of four algorithms

采用本文算法，最高识别率达到了88.57%。文献[9]、[10]中采用的方法的识别率分别为75.45%、84.20%；文献[11]中的方法需要人工选取34个基准点，不能实现自动化，而本文的方法实现了自动化。

5 结束语

文章提出了一种基于亮度检测和SVM的人脸表情识别算法。实验表明，该算法能够有效地提取出与表情变化相关的特征矢量，识别率较高且易于实现自动化。

[1]Lyons M J， Budyned J， Kamastu S.Automatic classification of single facial image[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1999，21（12）：1357-1362.

[2]Buciu I， Kotropoulos C， Pitas I.ICA and Gabor representation for facial expression recognition [C]//ICIP 2003：2003 International Conference on Image Processing，Washington，DC：IEEE Press，2003：855-858.

[3]LOH M P， WONG Y P， WONG C O.Facial expression recogniton for e-1earning systems using Gabor wavelet&neural network[C]//2006，Sixth International Conference on Advanced Learning Technologies，2006：523-525.

[4]Pardas M，Bonafonte A.Facial animation Parameters extraction and expression recognition using hidden Marcov model[J].Imagingofthe SignalProcessing：ImageCommunication Journal，2002，17（9）：675-688.

[5]Lee T S.Image representation using 2D Gabor wavelets[J].IEEE Transaction on Pattern Analysis and Machine Intelligence，1996，18（10）：959-971.

[6]LI Gan-hua， CAI Xuan-ping， LI Xian-shuai， et al.An efficientface normalization algorithm based on eyes detection[C]//2006 IEEE/RSJ International Conference on Intelligent Robots and Systems，2006：3843-3848.

[7]Belhumeur P N，Hespanha J P，Kriegman D J.Eigenfaces VS fisherfaces recognition using classspecific linear projection [J].IEEE Transaction on Pattern Analysis and Machine Intelligence，1997，19（7）：711-720.

[8]李俊华，彭力.基于特征块主成分分析的人脸表情识别[J].计算机工程与设计，2008，29（12）：3151-3153.

LI Jun-hua，PENG Li.Facial expression recognition based on feature block principal component analysis[J].Computer Engineering and Design，2008，29（12）:3151-3153.

[9]叶古祥，胡秀丽.基于Gabor小波与分形维的人脸情感特征提取[J].计算机工程，2008，34（4）：226-227，230.

YE Ji-xiang， HU Xiu-li， Facial affective features extraction based on Gabor wavelet and fractral dimension[J].Computer Engineering，34（4）:226-227，230.

[10]王晔，吴小俊，王士同，等.基于改进主动形状模型的人脸表情识别[J].计算机工程与应用，2009，45（6）：197-200.

WANG Ye， WU Xiao-jun， WANG Shi-tong， et al.Facial expression recognition based on improved active shape mode[J].Computer Engineering and Applicatons，2009，45 （6）:197-200.

[11]周书仁，梁昔明，杨秋芬，等.基于PSO与ICA的表情特征提取[J].计算机应用，2007，27（11）：2797-2799.

ZHOU Shu-ren， LIANG Xi-ming， YANG Qiu-feng， et al.Expression feature extraction based on PSO and ICA[J].Computer Applications，2007，27（11）:2797-2799.

Facial expression recognition algorithm based on brightness detecting and SVM

CHEN Ya-xiong， WANG Xi-bo， WANG Chao
（The Department Of Electronics and Information，Northwestern Polytechnical University，Xi’an710129，China）

A facial recognition algorithm based on Skin detecting and SVM to still image containing expression Information was introduced.Firstly， skin detecting algorithm combined with projection to locate the eye region and the mouth region， which can segment the expression sub-regions automatically.Secondly，features of the expression sub-regions were extracted by Gabor wavelet transformation and then effective Gabor expression features were selected by Fisher Linear Discriminat（FLD）to deduce the dimension and redundancy of the features.Finally，the features were sent to Support Vector Machine （SVM）to classify the different expressions.The algorithm was tested on Japanese female expression database.It can get a high precision of recognition.The feasibility of this method has been verified by experiments.

brightness detecting； expression feature extraction； Fisher Linear Discriminant （FLD） analysis； Support Vector Machine（SVM）

TP391.4

A

1674－6236（2011）24-0150-04

2011-11-03 稿件编号：201111018

西北工业大学2011年度研究生创业种子基金（Z2011090）

陈亚雄（1985—），男，甘肃白银人，硕士研究生。研究方向：模式识别，图像处理。