聂倩倩，秦润泽，高育新，胡欣宇

（1.山西农业大学，山西 太谷 030800;2.山西平安谷信息技术有限公司，山西 太原 030006）

0 引 言

人类表情往往携带着比语言更为丰富的信息，因此，人脸表情识别是计算机视觉领域的一个重要研究课题。其研究成果可应用于人机交互、心理疾病患者治疗、情感计算与远程教育等领域，广泛的应用领域推动着人脸表情识别技术不断发展。易积政[1]等提出了基于特征点矢量与纹理形变能量参数融合的人脸表情识别方法，该方法较传统方法在识别率上有所提高。Taihao Li[2]等结合主动外观模型与神经网络进行人脸表情识别。Ross P Holder， Jules R Tapamo[3]通过使用更精确的Scharr梯度算子、主成分分析降维等方法提出了改进的梯度局部三值模式（GLTP）。

1 表情识别综述

1971年，心理学家Ekman与Friesen研究提出了人类的六种基本情感，即惊讶（Surprise）、悲伤（Sadness）、愤怒（Anger）、恐惧（Fear）、厌恶（Disgust）与高兴（Happiness），与此对应，人类可产生相应的面部表情。为了更好地描述人脸面部表情，随之诞生了不同的面部表情编码方式。Ekman与Keltner[4]提出了面部运动编码系统（FACS），可根据面部肌肉和肌肉群的运动对不同的面部表情加以区分。脸部动画参数（FAPS）也是一种表情编码方式，其根据脸部特征部位的运动描述面部表情。另外，美国麻省理工学院，日本东京理科大学与哈尔滨工业大学等国内外高校与研究机构都对表情识别开展了相关研究工作。表情编码识别系统如图1所示。

在研究表情识别的过程中，建立了供测试使用的人脸表情数据库。较为经典的面部表情数据库有JAFFE Database、The Extended Cohn-Kanade Dataset（CK+），GEMEP-FERA 等。其中，JAFFE Database是由十位日本女性分别做出7种表情所构成的213张图像的集合，CK+则是一个具备表情强度从低到高逐渐变化[5]的数据库，如图2所示。

图1 表情识别编码系统

图2 JAFFE与CK+数据库中的面部表情

人脸表情识别主要由三部分组成，即人脸检测与预处理，特征提取，表情分类。人脸检测预处理旨在将目标人脸从背景中分离出来，其中涉及人脸定位、图像旋转与归一化等操作；特征提取旨在提取出能够表达人类情绪的面部特征，有多种特征提取方法，如局部二值模式（LBP）、弹性图匹配法、等距映射等，本文只按照一种分类方式说明其中的部分特征提取方法；表情分类则依据提取出的面部特征将其归类为具体的表情，其中有K最近邻算法、稀疏表示分类法等。人脸表情识别流程如图3所示。

图3 人脸表情识别流程

2 特征提取算法综述

人的面部表情具有大量特征。一张包含人脸的图像拥有极大的信息量，且在视频流中，同一人在不同帧下的表情模式也不尽相同，因此需要对人脸图像进行图像降维处理并提取出五官特征、纹理特征等有效信息。这些有效信息的提取极为重要，能否准确有效地提取出特征不仅影响着识别流程的速率，也极大地影响着识别准确率。

2.1 基于几何特征的提取方法

几何特征的提取即针对二维图像的人脸表情的显著特征对面部五官进行定位，可以得到五官的大小、位置及五官之间的相互比例等空间几何信息，可通过这些信息进行人脸表情识别。基于该方法的模型有主动形状模型（ASM），活动外观模型（AAM）与尺度不变特征转换。ASM最早由Cootes提出，之后其针对ASM进行改进，于1998年提出了AAM。该类提取方法存在五官遮挡问题，且当光照、角度、人脸尺寸等重要识别分类信息丢失时，识别精度不高。

2.2 基于整体统计特征的提取方法

该类方法的主要思想是遍历整幅图像，尽可能多地提取整幅图像的特征信息。该类方法可以使用主成分分析（PCA）去除人脸图像中的混乱信息、噪声和冗余；使用方差衡量去除小方差的冗余信息，使用正交位数空间描述数据改变的方向。但该方法只对符合高斯样本即噪声或不感兴趣、信号比较微弱的数据有效，导致数据具有较差的可分性。在PCA的基础上提出了独立成分分析法，即ICA（Independent Component Analysis，ICA）。ICA将数据看作多个独立分量的线性组合，进而获取数据的独立成分，因此具有较好的可分性。由于外界背景环境的干扰，该方法在复杂背景环境下识别率会下降。

2.3 基于频率特征率的提取方法

主要采用Gabor小波变换方法，该方法可以在频域的不同尺度，不同方向上提取相关特征。Gabor方法先添加时间局部化窗函数，得到窗口傅里叶变换，因为该方法无法聚焦，因此研究人员加入了小波理论，结合成Gabor小波变换。该方法在对人脸表情特征提取时，能够有效提取不同细节程度的图像特征。但由于是低层次的特征，因此不易于直接用于特征匹配。

2.4 基于运动特征的提取方法

光流法。光流为图像亮度模式的表观运动，能够反映出图像的运动，因此可以提取出图像的运动信息。光流算法先假设体素和图像像素守恒，评估两次表情之间的细微形变，可以得到图像约束方程，求出图像约束方程的解后计算变化参数。该方法反应了表情变化的本质，因此光照因素干扰较小，但计算量庞大。

3 表情分类算法综述

3.1 基于传统机器学习的表情分类算法

3.1.1 Bayes分类算法

Bayes分类是以贝叶斯定理为基础的一类分类算法，贝叶斯定理属于概率论的一种，在边缘概率分布与随机变量的条件下，使用产生的新数据对已有数据做修改。朴素Bayes分类算法是Bayes分类算法中较为简单的一种。朴素Bayes分类算法能够根据待分类项符合的各个条件判别其所属类别。由于朴素Bayes模型假设特征属性之间相互独立，因此该分类方法误差率小，然而当将其应用于实际时效果不佳。

3.1.2 支持向量机算法

1995年，Cortes与Vapnik提出了支持向量机（Support Vector Machine，SVM），即自动分类算法。SVM能够区分数据类别的高维到一维投影，其任务是找到最佳决策边界。在寻找最佳决策边界的过程中，相继引入了核函数、拉格朗日对偶与SMO算法，SVM算法不使用真正的向量而使用数量积进行分类，因而减小了系统开销，使得SVM算法更加优化。相较于更先进的神经网络算法，支持向量机拥有更快的运算速度，计算时使用更少的训练样本。支持向量机示意图如图4所示。

图4 支持向量机示意图

3.1.3 HMM模型

隐马尔科夫模型（Hidden Markov Model，HMM）是一种关于时序的概率生成模型。该算法描述了马尔科夫过程，但该过程包含隐含的未知参数。HMM模型将人脸图像看作显性序列，从已知的数据中确定隐含数据，再利用隐含数据进行数据分析，因此适合进行动态视频流分析。黄小娟[6]等通过优化隐马尔科夫模型参数提出了改进的隐马尔科夫表情识别模型，使得该模型可更有效地应用于表情识别中。HMM模型示意图如图5所示。

图5 HMM模型示意图

3.2 基于深度学习的表情分类算法

3.2.1 基于CNN的分类算法

卷积神经网络（Convolutional Neural Networks，CNN）是针对人工神经网络（ANN）的一种改进，其灵感来源于猫的初级视觉皮层，其权值共享网络结构使之更接近生物神经网络。卷积神经网络由多个卷积层和顶端的全联通层构成，相较于其他神经网络，卷积神经网络还包括关联权重与池化层。CNN利用损失函数判断类别预测值与真实值间的差异，利用激活函数解决非线性问题，采用正则化操作削减过拟合现象，采用池化层操作降低网络复杂度。上述使得CNN的训练速度更快，计算量减少且能够实现图像降维，使之能更好地处理二维图像，使用神经网络时需要采取的图像预处理工作较少。卷积神经网络示意图如图6所示。

图6 卷积神经网络示意图

3.2.2 基于DBN的分类算法

2006年，Geoffrey Hinton提出了深度信念网络。深度信念网络（Deep Belief Network，DBN）其结构类似于人脑的认知过程，由多层受限玻尔兹曼机（RBM）构成。RBM由可见层与隐层组成，可见层接受输入，隐层提取特征，两层双向连接，层内各神经元间无连接，可见层输出作为隐层输入。采取对比散度的学习算法训练RBM，得到使得训练样本概率最大的权值。多层RBM训练层经调优构成DBN。DBN将低层输出作为高层输入，再将高层输出作为更高层输入，是一个自下而上的无监督学习过程。采用DBN时需要为样本集设定标签，学习过程慢。施徐敢[7]等融合深度信念网络与多层感知器进行人脸表情识别，该识别方法可达到的最好人脸表情正确识别率为90.95%。由于环境中光照等复杂因素的存在，Chen Li[8]等将DBN与增强局部纹理特征相结合，克服了光照变化带来的影响。深度信念网络示意图如图7所示。

图7 深度信念网络示意图

4 结 语

目前人脸表情识别是图像处理领域的研究热点，人脸表情库越来越丰富。其特征提取算法包括基于几何特征提取、PCA与ICA算法、Gabor小波变换、光流法等。这些算法与其他算法相结合，在解决图像噪声，人脸遮挡、角度，环境光照等许多影响因素上有较好的处理效果，但同时也增大了系统开销。传统的表情分类方法有Bayes分类算法、隐马尔可夫模型、支持向量机SVM模型。传统算法模型计算速度快，但精度不高，因此在科研机构中主要为深度学习方法，CNN与DBN这类算法训练出的模型识别精度高，速率快，但训练需要使用GPU等硬件加速，训练时更需要大量的表情库，训练周期长，难以在高校科研机构以外的场所进行研发和使用。

综上所述，人脸表情识别这一课题已经拥有了较成熟的研究成果，但缺点依然存在，需要不同算法取长补短，如将深度学习与传统算法结合等，算法的改进仍然是一个漫长的探索实践过程。

[1]易积政，毛峡，MITSURU I，等.基于特征点矢量与纹理形变能量参数融合的人脸表情识别[J].电子与信息学报，2013，35（10）：2403-2410.

[2] LI T，ZHOU J， TUYA N， et al.Recognize facial expression using active appearance model and neural network[J].CyberC，2017：182-185.

[3] HOLDER R P，TAPAMO J R. Improved gradient local ternary patterns for facial expression recognition[J].EURASIP Journal on image and video processing， 2017（1）：1-15.

[4]余龙华，王宏，钟洪声.基于隐马尔科夫模型的人脸识别[J].计算机技术与发展，2012，22（2）：25-28.

[5] WU B F，LIN C H. Adaptive feature mapping for customizing deep learning based facial expression recognition mode[J].IEEE Access，2018：1.

[6]黄小娟，吴荣腾.改进的隐马尔可夫表情识别模型参数优化算法.河南工程学院学报（自然科学版）[J].2014（4）：59-64.

[7]施徐敢，张石清，赵小明.融合深度信念网络和多层感知器的人脸表情识别[J].小型微型计算机系统，2015，36（7）：1629-1632.

[8] JEONG M，KWAK S，KO B C，et al. Driver facial landmark detection in real driving situation[J]. IEEE Trans. circuits syst. video technol，2017：1-15.

[9]蒋斌，贾克斌，杨国胜.人脸表情识别的研究进展[J].计算机科学，2011，38（4）：25-31.

[10]王大伟，周军，梅红岩，等.人脸表情识别综述[J].计算机工程与应用，2014，50（20）：149-157.

[11]常亮，邓小明，周明全，等.图像理解中的卷积神经网络[J].自动化学报， 2016，42（9）：1300-1312.

[12]张学工.关于统计学习理论与支持向量机[J].自动化学报，2000，26（1）：32-42.

[13]王信，汪友生.基于深度学习与传统机器学习的人脸表情识别综述[J].应用科技，2018，45（1）：65-72.

[14]施徐敢，赵小明，张石清.人脸表情识别研究的新进展[J].实验室研究与探索，2014，33（10）：103-107.

[15] KO B C. A brief review of facial emotion recognition based on visual informatio[J]. sensors，2018，18（2）：401.

[16] LI C，ZHAO S，XIAO K， et al.Face recognition based on the combination of enhanced local texture feature and dbn under complex illumination conditions[J].JIPS，2018，14（1）： 191-204.

[17] WU B，HU B G，JI Q. A coupled hidden markov random field model for simultaneous face clustering and tracking in videos[Z].Pattern recognition，2016.