刘 娟，胡 敏，黄 忠1,

1.安庆师范大学 物理与电气工程学院，安徽 安庆 246052

2.合肥工业大学 计算机与信息学院 情感计算与先进智能机器安徽省重点实验室，合肥 230009

基于区域NBPR特征及可信度修正的人脸表情识别*

刘 娟1+，胡 敏2，黄 忠1,2

1.安庆师范大学 物理与电气工程学院，安徽 安庆 246052

2.合肥工业大学 计算机与信息学院 情感计算与先进智能机器安徽省重点实验室，合肥 230009

为了提取有利于表情分类的区域特征以及实现多区域特征的决策级融合，提出了一种基于邻近二值模式关系（neighbor binary pattern relation，NBPR）特征描述子和可信度修正证据融合（credibility modification evidence fusion，CMEF）的表情识别框架。首先针对传统局部二值模式（local binary pattern，LBP）算子仅以中心像素为编码阈值的局限，提出一种NBPR描述子，它对局部区域多方向相邻像素之间的二值模式异或关系进行编码；然后根据提取的眉毛、眼睛和嘴巴区域的NBPR纹理特征进行证据的初始基本概率分配；最后针对D-S（Dempster-Shafer）证据理论在合成冲突证据时的不足，通过一种新的基于证据可信度的合成方法实现3个区域证据的决策融合。该方法在CK（Cohn-Kanade）库上分别取得了94.67%的平均表情识别率以及752 ms的平均识别时间。实验结果表明，提出的NBPR描述子和CMEF策略有利于表情区域的纹理描述和决策级融合，从而具有较高的表情识别率。

邻近二值模式关系；多区域特征融合；D-S证据理论；可信度修正

1 引言

随着图像处理技术的不断进步以及情感人机交互的迫切需求，人脸表情识别逐步变成情感计算领域最活跃的研究方向。为提高表情分类正确率，人们一方面挖掘维数低、鲁棒性强的特征描述方法；一方面探索鉴别能力强、稳定性好的分类融合策略[1]。研究表明，人脸不同区域的表情细节在表情分类中提供的区分信息具有较大差异性，因此，如何提取有利于表情分类的区域特征以及如何实现不同区域特征的决策融合，已经成为表情识别领域噩待处理的关键问题。

近几年，人们已经提出了大量卓有成效的特征提取方法，主要包括基于拓扑关系的几何特征提取方法和基于像素信息的纹理特征提取方法[2]。几何特征提取方法主要对人脸显著区域的特征点进行定位，然后根据特征点位置信息度量形状偏差或相对位移，但这种方法计算开销大，且易受特征点定位精确程度的影响。与几何特征提取方法不同，纹理特征提取方法则利用像素点周围的灰度分布和对比度等信息来刻画表情细节，其中最常见的有Gabor小波变换[3]和局部二值模式（local binary pattern，LBP）[4]。由于具有比Gabor特征较低的维数和较高的提取效率，LBP特征在表情识别等实时场景中更受青睐。然而，传统LBP算法只以局部邻域中心点的像素灰度值作为阈值，没有处理周围近邻像素点灰度值大小关系。这种空间关系的缺失制约了LBP描述局部丰富表情细节的能力。而在表情分类方面，人们逐渐关注到表情区域特征在类别判别中的重要性，分别提出了区域特征的数据级联方法[5-6]和决策融合方法。与数据级联方法不同，区域特征的决策融合方法则是首先将区域特征转化为类别度量信息，然后在决策层实现不同区域类别度量信息的融合。由于D-S（Dempster-Shafer）证据理论能够较好地描述表情模糊性和不确定性，基于D-S证据理论的决策融合方法备受人们关注，如Hammal等人[7]将来自不同人脸表情区域的形变特征视为证据，利用D-S证据理论完成这些区域表情类别融合与决策；Shoyaib等人[8]利用k-NN（k-nearest neighbor）方法计算各证据的概率分配函数，并提出kNNDS表情识别框架。然而，传统D-S合成公式为维持基本概率分配的归一性，仅利用彼此不冲突的证据信息构建置信区间，因此，当区域表情证据存在冲突时，决策系统将产生与事实相违背的判别结果[9-10]。

鉴于人脸表情特征更多汇集在眉毛、眼睛和嘴巴等显著区域，以及传统LBP算法不足以描述局部纹理细节的问题，本文提出了一种基于区域NBPR特征及可信度修正的人脸表情识别方法。首先，针对传统LBP算子仅以中心像素为阈值编码方式的局限性，提出一种基于邻近二值模式关系（neighbor binary pattern relation，NBPR）的纹理特征描述子，通过对局部区域范围内近邻像素多方向的二值模式的异或关系编码，提取表情区域高鉴别能力的纹理信息。然后，考虑人脸表情细节更多集中于眉毛、眼睛和嘴巴等局部区域的特点，以这3个显著区域NBPR纹理特征为证据，并根据卡方距离建立各证据的基本概率分配。最后，针对传统D-S合成规则解决冲突表情证据存在的缺陷，提出可信度修正证据融合（credibility modification evidence fusion，CMEF）策略实现3个区域证据的决策融合。

2 基于NBPR描述子的区域特征表示

2.1 LBP算法

LBP算子拥有计算不复杂，对光照变化条件不敏感的优点，是一种较好的纹理分析方法，如今在机器视觉领域得到了广泛应用[4]。其本原理为：选定一个3×3的窗口，以中心像素的灰度值为阈值，周围8个像素值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样周围8个邻域会分别对应8个不同的0或1，再按照一定的顺序赋权值，加权求和得到中心像素的LBP值。LBP编码过程如图1所示。

Fig.1 LBP operator图1LBP算子

2.2 NBPR描述子

与LBP仅以局部邻域中心像素为阈值的编码方式不同，NBPR分别对某中心点周围的8个邻域4个方向近邻像素之间二值模式异或关系进行编码，构成4个方向的局部纹理特征。与LBP方法相比，能够捕获更加详细的描述信息和包含更加丰富的空间信息。给定一幅图像I(x)，该图像0°、45°、90°和135°方向二值模式可以表示成Iθ(x)，其中θ=0°,45°,90°, 135°。NBPR编码流程如下。

步骤1假设x0为图像中的一点，其周围8个邻域为xi(i=1,2,…,8)，如图2所示。x=x0处的4个方向的二值模式可以表示成：

Fig.2 Pixel pointx0and its 8 neighborhoods图2 像素点x0与其八邻域

步骤2x=x0处θ方向下的近邻像素之间二值模式关系NBPRθ(x0)可以表示成：

其中，⊕为异或运算，从而形成二进制编码比特串。

步骤3将4个方向的近邻像素二值模式关系串联在一起：

将点x0处NBPRθ(x0)中的8位二进制数转换成十进制数，其值位于[0～255]，即点x0该方向的NBPR特征值。图3中（b）、（c）、（d）、（e）分别计算出I0°(x)、I45°(x)、I90°(x)和I135°(x)，然后根据公式（3）计算出NBPR0°(x0)、NBPR45°(x0)、NBPR90°(x0)和NBPR135°(x0)，最后NBPR(x0)=10111011011110011101011001000110。

从式（1）可以看出：假设对xi(i=0,1,…,8)周围8个邻域像素同时加上或者减去某个值，xi的4个方向二值模式不发生改变。由式（3）可知，4个方向的x0与周围xi(i=1,2,…,8)的二值模式关系没有发生改变，即表明NBPR对光照不敏感。由于LBP选取的起始位置不同，最后加权得到的数值会不相同，旋转不变LBP算子[11]就是在此基础上，在各种不同起始位置选取原始LBP值中最小的那个值作为最终的旋转不变LBP值。同理，若x0周围8个邻域选取的起始位置不同，最后加权得NBPRθ(x0)数值会不相同，从而可以将LBP旋转不变算子应用于NBPRθ(x0)，使NBPR达到对图像的旋转不变性。

步骤4 NBPR的直方图。相对于全局直方图方法，局部直方图对光照和姿态的变化更具有鲁棒性[12]，从而本文利用局部直方图来建立NBPR的分布。在特征提取过程中，首先将某个方向上NBPR特征图划分成L个尺寸一样且互不重叠的子块；然后统计每个子块区域内直方图分布，将它们按先行后列的顺序串联在一起，获得分块直方图序列；最后将4个方向上NBPR特征图的分块直方图序列联合起来。

假设方向θ，NBPRθ划分成L个矩形区域，表示为R1,R2…,RL，HNBPR(i,θ)可以表示为：

其中HNBPRθ(Ri)表示在θ方向上NBPR特征图中从子块区域Ri提取的直方图特征。分块后4个方向NBPR有4×L×2P个模式，可以通过对NBPR模式进行降维。本文采用Ojala提出的“等价模式”降维[11]。

2.3 区域特征表示

一个完整的脸部图像提取的所有特征并不都有利于表情分类，如果将这些特征全部进行提取，一方面会增加特征提取和表情识别的时间；另一方面大量的冗余特征将会对分类器判别形成干扰，进而降低表情分类的正确率。因此，合理地选择表情特征区域，可以去除一些和表情分类无关或者冗余的特征。鉴于眉毛、眼睛和嘴巴区域在表情描述中的重要作用，本文提取这3个区域的NBPR纹理特征。

首先将人脸图像规范化为128×133像素的区域，并将其均等地划分成56(8×7)个互不重叠的子块，其中每个子块尺寸为16×19像素。然后，定位眉毛、眼睛和嘴巴区域，并且3个区域尺寸分别为128× 19、96×19、64×38像素。最后，在这3个区域内，分别统计其中各个子块的NBPR特征直方图，并将其分块直方图序列作为区域表情纹理特征描述。其过程如图4所示。

Fig.3 Example of NBPR code图3NBPR编码示例

3 可信度修正的多区域表情证据融合

3.1 基本概率赋值的构建

D-S证据理论[13]中假设Θ为一识别框架，定义集函数m:2Θ→[0,1]为Θ上的基本概率分配（basic probability assignment，BPA）函数，且满足：

Fig.4 Histogram sequences of NBPR图4NBPR直方图序列

其中，∅表示空集；若m(A)＞0，称A为信任函数的焦元。设m1和m2为同一识别框架Θ下的两个证据，则D-S合成公式为：

为构建3个证据的基本概率分配，本文首先计算测试样本与各类标准特征向量的卡方距离di,j（i为区域，j为表情类别）[14]。由于距离为(0,+∞)上任意一实数，需要对di,j进行归一化：

在基本概率分配函数的构建中，一方面要求各类别的概率总和为1，一方面要求加大类别概率的区分度。因此，当测试样本和某类标准特征向量之间距离较大时，测试样本属于该类的可能性很小，分配给该类的概率越接近0；反之，分配该类的概率越接近1。鉴如此，本文采用指数函数实现从卡方距离到基本概率分配的映射。设证据i对表情类别cj的基本概率赋值分配为：

其中，λ为拟合系数，通过实验取13。

3.2 可信度修正的证据融合

构建3个区域证据的基本概率分配后，可以按照D-S合成公式实现多证据的融合。然而，D-S合成公式没有区分参与合成证据的差异性，在证据合成时没有考虑证据的可靠性信息，从而将造成不合理的合成结果。此外，当合成证据存在冲突时，冲突程度系数K趋于1，D-S合成公式不能完成证据融合。这种完全不考虑冲突信息的策略也势必导致判别信息的丢失并影响决策结果。针对传统D-S合成公式不能处理冲突和体现证据差异性的问题，本文提出可信度修正的证据融合策略。

3.2.1 可信度

设m1,m2,…,mn是同一识别框架Θ下的n个证据，|Θ|=N，2Θ={Ai|i=1,2,…,2N}。定义m1、m2的距离为[15]：

当两个证据之间的距离较小，说明它们相似度较高，可以认为它们彼此互相信任，否则说明它们存在冲突。因此，可以将证据间的可信度作为证据冲突程度的度量方式。令mi的可信度Crdi为：

式（11）意义在于，某个证据与其他证据的距离越小，说明该证据与其他证据的冲突较小，则其拥有较高的可信度。因此，度量的可信度可以直接体现证据间的冲突程度。

3.2.2 证据融合策略

为了体现各个证据的重要性，表情识别系统所融合的多个证据应赋予有区别的权重。若一个证据拥有较高的可信度，其对应的权重应比较高，从而对融合结论的影响也应较大；反之亦然。因此，本文通过度量的可信度对原始证据进行修正：

在新的证据模型mi′(i=1,2,…,n)中，利用“与”运算合成没有冲突的证据，并通过可信度对证据的冲突实施分配。新的合成公式定义为：

由计算过程可知，修正的证据模型的合成结果仍然满足BPA函数的要求。利用新的合成公式对修正后证据进行融合，并依据式（14）决策规则可判别最终的表情类别cresult为：

至此，本文提出的基于区域NBPR特征及可信度修正的人脸表情识别框架可用图5表示。

Fig.5 Framework of expression recognition图5 表情识别框架

4 实验结果与分析

为了说明本文算法的有效性，采用Matlab 2010在Windows 10环境下搭建系统，计算机的微处理器配置为Intel®CoreTMi3-4150 CPU@3.5 GHz，主存4 GB。测试集为CK（Cohn-Kanade）表情库，为了减少图像中人脸位置、大小和旋转等因素对表情识别的影响，对图像进行预处理，包括人脸分割、几何归一化和光照归一化。预处理后表情图像统一大小为128×133像素，如图6所示。

Fig.6 Preprocessing on CK expression database图6 CK表情库的预处理

4.1 本文算法识别率

CK库由美国CMU机器人研究所和心理系共同建立。本文从CK库中选取了21个对象的6种表情（悲伤、高兴、惊讶、恐惧、愤怒和厌恶）的200幅图像。每次随机选择100幅图像作为训练样本，剩下的图像作为测试样本。

基于随机产生的表情训练集，提取每幅训练图像3个显著区域的NBPR特征后，各区域同种类型的表情特征求和后取平均得到该区域该类标准表情特征向量。样本测试阶段，提取每幅测试图像3个显著区域的NBPR特征后，计算各区域特征与标准表情特征向量的卡方距离，以此构建3个区域证据的基本概率分配。最后按照可信度修正各证据基本概率分配，并实现证据融合和最终决策。实验计算3次交叉验证的平均识别率，如表1所示，其平均识别率为94.67%。

Table 1 Experimental result based on Cohn-Kanade database表1 基于Cohn-Kanade库的实验结果

4.2 不同表情识别方法比较

为了验证本文NBPR特征比LBP特征具有更好的表征局部信息的能力，同时证明可信度修正证据融合（CMEF）比D-S具有优越性，针对不同纹理特征和不同分类器进行了实验，其比较结果如表2所示。表2表明本文NBPR特征和可信度修正证据融合结合可以获得更高识别率。

Table 2 Comparison of average recognition rates of different features and different classifiers表2 不同特征和不同分类器的平均识别率比较

为了进一步验证本文方法在表情识别率和识别时间方面的优势，基于相同数据集，还将本文方法与其他表情识别方法进行了实验比较。各种方法的相关参数均遵循原文默认设置，其比较结果如表3所示。

Table 3 Performance comparison of different expression recognition methods表3 不同表情识别方法的性能比较

在特征提取时间方面，由于引入多方向的NBPR计算过程，本文方法不及传统LBP特征提取方法，但优于多尺度多方向的Gabor描述方法。在识别时间方面，SVM在训练过程中存在计算相当耗时的问题，本文基于可信度修正的多证据决策融合不需要复杂的训练过程来获取模型参数，具有较短的识别时间。而在分类性能方面，由于引入了局部细节描述能力强的NBPR描述子，本文基于NBPR特征的分类性能高于基于单一特征的LBP、Gabor的表情识别方法，虽然识别率达不到基于LBP+Gabor[4]混合特征方法，但是在特征提取时间和识别时间上远低于它。权衡总体分类时间和分类性能，本文方法通过提取显著区域的NBPR纹理特征并采用可信度证据修正策略，不仅具有较高的识别率，还具有较少的识别时间。因此，其能够更好地满足人机交互等实时场景。

5 总结

本文提出了一种基于区域NBPR特征及可信度修正的人脸表情识别方法。同相关算法进行比较，在保证可接受范围内的识别率的同时，降低了识别时间，具体表现在：

（1）本文提出的NBPR特征提取方法克服了LBP只考虑邻域点与中心点阈值关系的缺陷。NBPR是对邻近像素点多方向的二值模式异或关系进行编码，因此能够提取更有鉴别能力的纹理特征。

（2）基于可信度修正的策略，通过权重体现了不同证据的重要性，一方面减少了低可信度证据对决策判断的影响，另一方面降低了冲突证据引入的不确定性，提高了决策结果的可靠性。同时基于可信度修正的多证据决策融合不需要复杂的训练过程来获取模型参数，具有较短的识别时间。

然而，本文提出的表情识别方法仅实现了多区域纹理信息的决策融合，为进一步提高表情识别率，挖掘能够表达几何和纹理特征的描述子以及实现多源互补特征的决策级融合将是下一步研究的工作。

[1]Ouyang Yan,Sang Nong,Huang Rui.Accurate and robust facial expressions recognition by fusing multiple sparse representation based classifiers[J].Neurocomputing,2015,149 (A):71-78.

[2]Xue Yuli,Mao Xia,Guo Ye,et al.The research advance of facial expression recognition in human computer interreaction[J].Journal of Image and Graphics,2009,14(5):764-772.

[3]Li Kuan,Yin Jianping,Li Yong,et al.Local statistical analysis of Gabor coefficiens and adaptive feature extraction for face description and recognition[J].Journal of Computer Research and Development,2012,49(4):778-784.

[4]Zavaschi T H H,Britto Jr A S,Oliveira L E S,et al.Fusion of feature sets and classifiers for facial expression recognition[J]. Experts Systems withApplications,2013,40(2):646-655.

[5]Gu Wenfei,Xiang Cheng,Venkatesh Y V,et al.Facial expression recognition using radial encoding of local Gabor features and classifier synthesis[J].Pattern Recognition, 2012,45(1):80-91.

[6]Hu Min,Jiang He,Wang Xiaohua,et al.Precise local feature description for facial expression recognition[J].Journal of Image and Graphics,2014,19(11):1613-1622.

[7]Hammal Z,Couvreur L,Caplier A,et al.Facial expression classification:an approach based on the fusion of facial deformations using the transferable belief model[J].International Journal ofApproximate Reasoning,2007,46(3):542-567.

[8]Shoyaib M,Abdullah-AI-Wadud M,Ishraque S M Z,et al. Facial expression classification based on Dempster-Shafer theory of evidence[J].Belief Functions:Theory and Applications,2012,164(1):213-220.

[9]Li Shifeng,Yang Naiding,Zhang Yunyi.New approaches of distinguishing the evidence importance and allocating the evidences conflict[J].Systems Engineering—Theory& Practice,2013,33(7):1867-1872.

[10]Abellán J,Masegosa A.Requirement for total uncertainty measurements in Dempster-Shafer theory of evidence[J].International Journal of General Systems,2008,37(6):733-747.

[11]Ojala T,Pietikäinen M,Mäenpää T.Multiresolution grayscale and rotation invariant texture classification with local binary patterns[J].Pattern Analysis and Machine Intelligence,2002,24(7):971-986.

[12]Ahonen T,Hadid A,Pietikäinen M.Face description with local binary patterns:application to face recognition[J]. Transactions on Pattern Analysis and Machine Intelligence, 2006,28(12):2037-2041.

[13]Dempster A P.Upper and lower probabilities induced by a multivalued mapping[J].Journal of Annals of Mathematical Statistics,1967,38:325-339.

[14]Tan Xiaoyang,Triggs B.Enhanced local texture feature sets for face recognition under difficult lighting conditions[J]. IEEE Transactions on Image Processing,2010,19(6):1635-1650.

[15]Jousselme A L,Grenier D,Bossé É.A new distance between two bodies of evidence[J].Information Fusion,2001,2(2): 91-101.

[16]Shan Caifeng,Gong Shaogang,McOwan P W.Facial expression recognition based on local binary patterns:a comprehensive study[J].Image and Vision Computing,2009,27 (6):803-816.

[17]Liu Haibin,Zhang Guobao,Huang Yongming,et al.Multiple features extraction and coordination using gabor wavelet transformation and fisherfaces with application to facial expression recognition[C]//Proceedings of the Chinese Conference on Pattern Recognition,Chongqing,China,Oct 21-23,2010.Piscataway,USA:IEEE,2010:1-5.

附中文参考文献:

[2]薛雨丽,毛峡,郭叶,等.人机交互中的人脸表情识别研究进展[J].中国图象图形学报,2009,14(5):764-772.

[3]李宽,殷建平,李永,等.基于Gabor系数分块统计和自适应特征选择的人脸描述与识别[J].计算机研究与发展, 2012,49(4):778-784.

[6]胡敏,江河,王晓华,等.精确局部特征描述的表情识别[J].中国图象图形学报,2014,19(11):1613-1622.

[9]李仕峰,杨乃丁,张云翌.区分证据重要性及分配证据冲突的新方法[J].系统工程理论与实践,2013,33(7):1867-1872.

LIU Juan was born in 1984.She received the M.S.degree in computer software and theory from Hefei University of Technology in 2009.Now she is a lecturer at Anqing Normal University.Her research interests include affective computing and machine vision.

刘娟（1984—），女，安徽安庆人，2009年于合肥工业大学获得硕士学位，现为安庆师范大学讲师，主要研究领域为情感计算，机器视觉。

HU Min was born in 1967.She received the Ph.D.degree in computer application technology from Hefei University of Technology in 2004.Now she is a professor at Hefei University of Technology.Her research interests include affective computing,computer graphics and machine learning.

胡敏（1967—），女，安徽淮北人，2004年于合肥工业大学获得博士学位，合肥工业大学教授，主要研究领域为情感计算，计算机图形学，机器学习。

HUANG Zhong was born in 1981.He is a Ph.D.candidate at Hefei University of Technology,and lecturer at Anqing Normal University.His research interests include affective computing and machine learning.

黄忠（1981—），男，安徽安庆人，合肥工业大学博士研究生，安庆师范大学讲师，主要研究领域为情感计算，机器学习。

Facial Expression Recognition Based on Regional NBPR Feature and Credibility Modification*

LIU Juan1+,HU Min2,HUANG Zhong1,2
1.School of Physics and Electronic Engineering,Anqing Normal University,Anqing,Anhui 246052,China
2.Anhui Province Key Laboratory of Affective Computing and Advanced Intelligent Machine,School of Computer and Information,Hefei University of Technology,Hefei 230009,China
+Corresponding author:E-mail:juanliu3039@163.com

To extract the regional features which are conducive to expression classification and achieve the decisionlevel fusion of multi-regional features,this paper proposes an expression recognition frame based on neighbor binary pattern relation(NBPR)feature descriptor and credibility modification evidence fusion(CMEF).Firstly,for the traditional local binary pattern(LBP)operator only takes the fixed center pixel as threshold,NBPR is proposed,which can encode the XOR relationship of binary pattern between adjacent pixels from multi-orientations in a local region.Then, the extracted NBPR texture features of three salient regions such as eyebrows,eyes and mouth are used to construct the initial probability assignments of evidences.Finally,in view of the deficiency of conflicting evidences combination with Dempster-Shafer(D-S)theory of evidence,a new combination method based on the evidence credibility is used to achieve the decision fusion of the three regional evidences.Experiments of the proposed method are performed onCohn-Kanade(CK),it achieves an average expression recognition rate of 94.67%and an average time of recognition of 752 ms.The experimental results show that the NBPR is conducive to texture descriptor and CMEF strategy is beneficial to decision-level fusion,so the proposed method has higher expression recognition rate.

neighbor binary pattern relation(NBPR);multi-regional feature fusion;Dempster-Shafer theory of evidence;credibility modification

10.3778/j.issn.1673-9418.1610018

A

：TP391

*The National Natural Science Foundation of China under Grant Nos.61672202,61640421(国家自然科学基金);the Open Project of Anhui Province Key Laboratory under Grant No.ACAIM160106(安徽省重点实验室开放课题);the Natural Science Research Project of Education Department ofAnhui Province under Grant No.AQKJ2015B014(安徽省教育厅自然科学研究项目).

Received 2016-10,Accepted 2016-12.

CNKI网络优先出版:2016-12-14,http://www.cnki.net/kcms/detail/11.5602.TP.20161214.1122.006.html

LIU Juan,HU Min,HUANG Zhong.Facial expression recognition based on regional NBPR feature and credibility modification.Journal of Frontiers of Computer Science and Technology,2017,11(3)：459-467.