叶 杨，孙会龙，刘 贞，2

(1.重庆房地产职业学院，重庆 400000; 2.重庆理工大学 低碳能源研究中心， 重庆 400054)

人脸表情识别是人机交互领域一个重要的研究方向，有着广泛的应用前景。在虚拟现实表情捕捉设备的研发过程中，采用图像捕捉的方式具有成本优势，难点在于人脸表情识别算法。为进一步提高人脸表情识别的准确性，通常从分类识别和特征提取两个方面着手进行改进。在分类识别方面，苏志铭等[1]提出一种基于线段的相似度判决方法，通过比较预测序列与给定序列的相似性进行表情识别；唐浩等[2]提出一种改进的卷积神经网络分类方法，较好地降低了表情识别中面部部分遮挡、倾斜等因素对识别率的影响。在特征提取的研究方面， 李雅倩等[3]提出了一种融合全局与局部多样性的特征提取算法，利用全局特征PCA与局部特征邻域保持嵌入(NPE)算法的互补性，有效提高了表情识别准确率。

在对人脸表情识别系统的研究上，局部二值模式LBP由于原理清晰、计算简单、特征描述能力强等特点，被广泛用于特征提取。为更好地利用LBP算法获得更高的识别准确率，学者们提出了许多改进算法。Liu等[4]提出一种融合二维Gabor滤波与局部二值模式的表情特征提取算法，在保证识别准确性的同时提高了系统的实时性；Ross等[5]提出一种改进的梯度局部三值模式，有效提高了表情识别系统在复杂环境下的鲁棒性；Jabid等[6]提出了局部方向模式LDP，通过引入Kirsch算子较好地解决了光照变化及随机噪声对目标图像的影响。

本文针对基于LDP特征的面部表情识别方法特征提取效率不高、针对性不强的问题，提出了一种融合方向梯度特征的自适应加权LDP表情识别方法。该方法首先利用HOG梯度幅值图对子图像进行自适应加权，得出加权的LDP特征；之后与HOG方向梯度直方图特征进行融合，并将其送入SVM分类器中进行分类识别。为验证本文算法性能，在Extend Cohn-Kanade (CK+)表情库进行对比实验。实验结果表明：本文提出的算法能有效提高人脸表情的识别准确率。

1 LDP特征提取算法

局部方向模式LDP算法是Jabid等于2010年首次提出的一种用于表情识别的人脸特征提取算法，是局部二值模式(local binary pattern,LBP)[7]的一种改进算法。与LBP算法相比，LDP通过引入Kirsch掩膜进行编码提取纹理特征，可以较好地解决光照变化及随机噪声对目标图像的影响。算法的具体实现流程如下：

1) 引入Kirsch算子[8]的8方向模板。如图1所示，计算目标图像在各个方向上的边缘响应。

图1 Kirsch八方向模板

2) 将中心点X分别与8个方向的Kirsch算子进行卷积运算，得出mi(i=1,2,3,…,7)位置的边缘响应。边缘响应值反映该方向上的信息量，因此将这8个响应值的绝对值按照数值大小进行排序，取前k个数值较大的响应值予以保留，置1；其余8-k个响应值则舍去，置0。最后，以m0位置的值作为最低位，逆时针编码，则可得出中心像素的LDP值。对中心像素进行LDP编码的原理示意图如图2所示。

图2 LDP编码原理图(k=3)

值得注意的是：若将整幅人脸作为目标图像进行LDP特征提取，会得到1个56维的特征向量，信息量不够充足。为了得到信息丰富的人脸表情特征，Jabid在原文中首先将原图平均分割为7×6个子图像分别进行LDP特征提取，最后再联合起来作为整幅图像的LDP特征。该方法较好地解决了信息量不足的情况，但忽略了子图像对识别率贡献的差别。为此，本文首先根据表情图像的HOG边缘幅值图自适应确定每个子图像的权值，通过加权联合得到LDP特征，并融合HOG方向梯度作为表情识别的特征向量。

2 融合方向梯度特征的自适应加权LDP表情识别方法

针对LDP算子提取表情特征时提取效率不高、针对性不强的不足，提出了一种融合方向梯度特征的自适应加权LDP表情识别方法。HOG算法是一种针对图像差分信息的描述子，对光照变化、旋转等具有良好的鲁棒性。Deniz等[9]在2011年首次将HOG算法用于提取人脸特征，并取得了不错的识别效果。LDP特征是用于描述图像纹理信息的算子，而HOG特征是用于描述边缘信息的算子。利用两者的互补性，提出了一种融合HOG方向梯度与自适应加权LDP特征的表情识别方法。

2.1 LDP特征自适应加权

LDP特征一般以平均分块的方式联合获取，忽略了不同图像块之间对识别率贡献度的差别[10]。一般来说，边缘丰富的区域信息量较大，对于最终的表情识别贡献度也更大，而HOG幅值图能较好地描述图像的边缘信息[11]。因此，本文通过计算原图梯度幅值的信息熵[12]来自适应地确认LDP分块权值。HOG特征的核心算法是计算梯度值I(x,y)及梯度方向θ(x,y)。对于输入图像I来说：

(1)

θ(x,y)=arctan(Gy(x,y)/Gx(x,y))

(2)

其中：

Gx(x,y)=I(x+1,y)-I(x-1,y)

(3)

Gy(x,y)=I(x,y+1)-I(x,y-1)

(4)

G(x,y)表示点梯度幅值和方向，Gx(x,y)、Gy(x,y)分别表示像素点(x,y)的水平、垂直方向梯度。

对目标图像进行HOG特征提取时，首先采用细胞元(cell)分别计算，再以4个cell为1个窗口(block)进行全图滑动统计提取[13]。经HOG算子提取后可得到原图的直方图特征V及梯度幅值图。其中，HOG直方图V的横坐标为方向区间，纵坐标为相应的梯度幅值累加值。

将幅值响应图按照LDP特征提取的方式分为7×6块，计算各子图像的信息熵Ei:

(5)

其中：n表示像素级，为256；pi(k)为像素值为k的点出现的概率。信息熵的大小反映了子图像包含信息量的多少，以此为依据定义权重wi：

(6)

下面介绍原图各子图像的LDP特征向量求取方法。目标像素的LDP编码可由式(7)表示：

其中

(7)

其中：mi、mk代表邻接像素和中心像素灰度值；S(x)为符号函数。

直方图向量中每个元素的值为

HLDPj=∑x,yf(LDPk(x,y),Cj)

其中

(8)

DLDP={w1HLDP1,w2HLDP2,…,w42HLDP42}T

(9)

2.2 融合HOG与加权LDP的特征提取

仅采用单一的纹理特征进行后续的表情分类识别往往不能取得更好的识别准确率。本文利用LDP纹理特征与HOG边缘梯度特征的互补性，提出了一种基于特征融合的表情识别算法。

通过将自适应加权的LDP纹理特征DLDP与原图的HOG特征向量V进行联合，即可得到本文提出的融合特征F：

F={DLDP,V}T

(10)

融合特征F包含了纹理信息、方向梯度信息两个不同维度的特征描述，特征信息更加丰富全面。图3为融合方向梯度的加权LDP特征提取方法原理。

图3 融合方向梯度的加权LDP特征提取方法原理

HOG特征以滑动窗口的形式进行提取，强调了被LDP算法弱化的像素方位信息，并增加了方向梯度这一衡量尺度。同时，梯度幅值图为子图像的自适应加权提供了依据。利用HOG与LDP特征相互补充的特点，将其联合起来共同作为表情图像的特征有利于增大不同样本间的相似距离，得到更好的识别结果。

3 实验与分析

为验证提出算法的可行性与有效性，本文在拓展的Cohn-Kanade(CK+)表情库上进行实验。CK+库发布于2010年，是目前主流的人脸表情研究库之一。该数据库包含123个对象，有中性、愤怒、蔑视、厌恶、恐惧、高兴、悲伤、惊讶7种基本表情。图4为CK+数据库的部分样本示例。

本文选取CK+数据库的图像序列中各类非中性表情50张，共300张作为训练样本，表情分类算法采用支持向量机SVM算法。为进一步验证本文算法的性能，分别采用本文提出算法、文献[6]LDP算法、文献[14]LDP-PCA算法、文献[15]Multicore-CNN算法构建人脸表情识别系统进行实验比较，结果如表1所示。

图4 CK+人脸表情库部分样本示例

参数本文算法正确识别数/次识别率/%LDP正确识别数/次识别率/%〛PCA-LDP正确识别数/次识别率/%Multicore-CNN正确识别数/次识别率/%高兴50100489649984794悲伤4692428447944590惊讶4998479445904692恐惧4692408042844692厌恶4284387643864794愤怒4896459048964692平均识别率/%93.386.791.392.3

由实验结果可知：本文算法对厌恶表情的识别率明显降低，原LDP与和PCA-LDP算法对两种表情的识别率不高，而MultiCore-CNN算法对几种表情的识别率较为平稳。本文算法基于特征识别，而恐惧和厌恶在特征纹理中较为相似，容易导致误识别。相较于使用纹理特征的算法，卷积神经网络算法在识别过程中性能较为稳定。

采用本文算法的面部表情平均识别率最高，为93.3%，较LDP算法识别率提高了6.6%；较改进PCA-LDP算法提高了2.0%，与使用改进后的神经网络算法相比提高了1.0%。经分析可知：本文提出的算法根据各子图像信息量的不同自适应加权，得到的加权LDP特征更加强调信息丰富的区域，提高了特征的有效性。同时，本文算法融合了面部图像的HOG方向梯度特征，从另一角度对表情特征进行补充完善。最终实验证明：本文提出的融合HOG方向梯度的自适应加权LDP算法可以有效提高面部表情识别的准确率。

表2是4种算法运行速度对比结果，原LDP算法每1s可识别35帧图像，本文算法因融合HOG方向梯度导致算法逊于原算法；而MultiCore-CNN算法虽然识别率稳定，但是卷积神经网络的特性导致了速率低于其他3种算法。4种算法运行速度对比结果如表2所示。

表2 四种算法识别速度对比

4 结束语

图像捕捉识别是虚拟现实设备表情捕捉识别方式之一。本文针对LDP的表情特征提取方法识别率偏低的问题进行了分析，发现各子图像的特征向量直接联合构成的LDP特征针对性不强，效率较低；单一采用LDP这一维度对特征进行描述，特征信息不够丰富全面。针对这两点不足，本文提出融合方向梯度的自适应加权LDP人脸表情识别方法。首先，对人脸图像进行HOG方向梯度特征提取，同时得到其梯度幅值图；之后，将梯度幅值图按照LDP分块方式进行子图像划分，并根据各梯度幅值子图像信息熵计算LDP子图像权重，得出自适应加权的LDP特征向量；最后，将原图像的方向梯度特征与自适应加权LDP特征进行融合，一起作为人脸表情的特征向量。通过在CK+库上的对比实验，证明本文算法在人脸表情识别上有着较高的识别率和识别效率。