马志豪 杨娟

（1.南京邮电大学电子与光学工程学院(微电子学院) 江苏省南京市 210023）

（2.金陵科技学院电子信息工程学院 江苏省南京市 211169）

1 引言

情绪在人类的交流过程中扮演着重要的角色，人类通过多种方式表达情绪，面部表情是情绪最直接的外在表现。因此自动表情识别的研究具有重要意义，有广泛的应用前景[1,2]。表情识别主要包含人脸检测、特征提取、表情分类三个步骤。提取鲁棒性和表征能力强的图像特征是表情识别系统的关键。Ojala 等人[3]提出局部二值模式(Local Binary pattern,LBP)能有效编码图像的纹理信息，计算效率高，对单调光照有鲁棒性，对于非单调光照敏感。Jabid 等人[4]提出局部方向模式(Local Direction Pattern,LDP)。LDP 通过边缘响应值强度进行编码。Rivera 等人[5]提出局部方向数(Local Direction Number Pattern,LDN)利用边缘响应最大和最小的方向进行编码。通过边缘响应值进行编码实质上是对局部邻域的稠密采样，所以鲁棒性稍好，但是边缘响应值同样受随机噪声的干扰，也会造成编码出错。

2 局部显著方向纹理模式

2.1 LPDTP编码方式

图1显示Kirsch 算子的结构。其中M0和M4检测邻域内垂直方向边缘，M2和M6检测邻域内水平方向边缘，M1和M5与M3和M7分别检测两个斜向边缘。通过叠加水平、垂直、对角方向边缘响应值的强度值，选取显著的边缘方向。在灰度图像中对显著方向上的强度进行编码。LPDTP 利用方向信息和纹理信息构建一个8位二进制的编码。

LPDTP 的计算步骤如下：首先计算边缘响应值Ri(x,y)见公式（1）：

然后选取显著的方向，计算步骤如下：

对于第一方向D1(x,y)，设置自动阈值θ 对第一方向的值RsD1(x,y)(x,y)进行筛选，当RsD1(x,y)(x,y)值大于θ 则选取的第一方向D1(x,y)作为显著方向，反之则认为该邻域为平坦区域，并将LPDTP 值设为0。对于第二方向设置固定阈值ƒ 对NorD2(x,y)(x,y)进行筛选，当NorD2(x,y)(x,y)大于ƒ 时该方向是显著方向，若小于ƒ 则该方向不作为显著方向，索引值Dir2(x,y)更改为0。在本文中ƒ 取0.8。

确定显著方向之后，在原图像邻域中计算中心像素与显著方向上相邻像素的强度差，如下所示：

然后对中心像素与相邻像素的强度差值通过以下方式进行编码：

最后，将选取的显著方向特征和纹理特征进行二进制编码，计算方式如下：

式中LPDTP(x,y)是在面部图像中像素点(x,y)处的编码。当有两个显著方向时LPDTP 的编码模式数是4×2×3×2=48，当只有一个显著方向时LPDTP 的编码模式数时4×2=8，LPDTP 总的编码模式数是48+8=56 种。

2.2 自动阈值θ

边缘区域边缘响应值强度大，平坦区域边缘响应值强度小，设置一个阈值θ 根据第一方向的Rsi(x,y)值的强度信息区分边缘和平坦区域。由于每一个图像的像素信息不同，设置固定阈值不利于区分边缘和平坦区域。表情图像平坦区域在图像所占的比率相对比较稳定，所以通过设置一个比率ρ 来确定自动阈值θ，如下所示：

其中b 是Rsi(x,y)的直方图HRs中的bin 值，当b 的累加值所占的比率大于或等于ρ 时，此时的阈值θ 就等于b 的值，根据实验选取ρ=0.5。

3 实验验证

3.1 实验方法

为验证本文算法有效性，在CK+[6]，JAFFE[7]数据库上进行了实验。CK+数据集有593 个图像序列，其中327 个图像序列有七种表情标签。JAFFE 有213 幅图像，有七种表情标签。本次实验中在CK+数据集中选择除轻蔑外309 个带有6 种标签的表情图像，在JAFFE 数据集中选择所有图像。使用Haar-like 和Adaboost 检测并截取面部区域，然后将尺寸归一化为110×120。采用与人无关的N 折交叉验证方式，将受试者随机分成N 组，其中一组用于测试，其余N-1 组用于训练，在CK+中将受试者以12 人一组分成10 组。在JAFFE 中将受试者一人一组。在这种方式下同一人的图像不会同时出现在训练集和测试集中，可以确保测试图像的独立性，能够更有效和准确的评估算法。使用带有RBF 内核的支持向量机作为分类器，并通过自动训练确定最优参数。

3.2 结果分析

在表1 显示了本文方法与LBP、LDN 和LDP 算法在CK+数据集中进行与人无关实验各类图像的识别率。从表中可以看出，总体上生气、恐惧、悲伤这三类图像的识别率偏低，厌恶、高兴、惊讶这三类图像的识别率较高，这是由于前三种面部表情动作特征不明显，彼此之间容易产生混淆。本文算法的测试结果生气的识别率相对其他三个算法的识别率较低，其中恐惧和悲伤的识别率相较于其他算法有明显提升。

表1：CK+与人无关的六类表情识别率

表2显示了不同算法在JAFFE 数据集中进行与人无关测试实验的识别率，可以看出总体上此数据集上识别率偏低。这是由于在JAFFE 数据集中受试者较少，数据集中图像较少，同时一些受试者摆出的表情特征不够明显，各类表情之间区分度不高容易产生混淆。而且在数据集中存在个别图像数据标注错误。

表2：JAFFE 与人无关七类的识别率

3.3 LPDTP噪声鲁棒性测试

图像很容易遭受噪声的干扰，若特征提取算法对噪声鲁棒性不强就会导致图像识别率明显下降。为测试本文算法对噪声的鲁棒性，对图像添加不同程度的高斯噪声进行测试。

图2显示了在不同峰值信噪比(Peak Signal to Noise Ratio,PSNR)下的高斯噪声图像。最左侧图像为原图，之后图像从左至右PSNR 的值分别是32±1 dB,28±1dB,25±1dB。

图2：高斯噪声图像

从表3 中可以看出本文算法在CK+和JAFFE 数据集中，当PSNR 为32±1dB 时识别率分别下降1.63%,2.69%；PSNR 为28±1dB 时识别率分别下降7.16%,7.71%。在CK+数据集中同样对LBP、LDP 和LDN 算法进行了测试，这三个算法的测试结果均劣于本文算法。

表3：不同高斯噪声下识别率

4 结论

本文提出LPDTP 用于表情分类。LPDTP 通过寻找邻域内的显著方向，能够有效的编码方向信息，在灰度图像中对显著方向上的像素强度编码。通过方向信息和灰度信息的联合，可以有效表征图像的纹理特征。设置自动阈值θ 能够有效消除平坦区域编码信息。从实验结果中可以看出LPDTP 不仅有良好的识别效果，对PSNR大于28dB 的高斯噪声有良好的鲁棒性。