王忠民 缑田田 衡 霞

（1.西安邮电大学计算机学院 西安 710121）（2.西安邮电大学陕西省网络数据分析与智能处理重点实验室 西安 710121）

1 引言

人类的情感通常通过其面部表情、声音、手势和姿势等信息表现出来。而面部表情蕴含了人类丰富且细微的情感变化，分析和研究人的面部表情［1～2］对情感识别［3～5］、人机交互等方面有很大的应用价值。如今，面部表情识别已经引起了广泛的研究，同时提出了多种解决方案。而提取面部有效特征［6～9］成为了面部表情识别中的关键步骤，经典的提特征算法包括独立分量分析法［10］（ICA）、主成分分析法［11］（PCA）、局部二值模型［12］（LBP）。虽然ICA等特征提取算法在处理高维数据等方面具有良好的特性，但同时也存在特征提取率低、提取不全面，或是依赖硬件，消耗内存大的等问题［13］。

近几年来，利用神经网络［14］来解决图像识别［15］问题有了很大的突破，它能让机器自主地从样本数据中学习到表示这些面部表情的本质特征［16～17］，而且更具有一般性。利用3D CNN更能有效地提取有用的特征信息。采用BLSTM进行分类［18～19］，它能够充分地利用数据的上下文信息［20］，在对序列的识别任务中表现突出［21］，综上所述，本文提出一种融合［22］3D CNN和BLSTM的面部表情识别方法。面部表情的处理过程如图1所示。

图1 面部表情识别过程图

2 多融合的卷积神经网络

面部表情识别过程主要分为训练和测试两个阶段。在训练阶段，首先对图像进行预处理，然后将预处理之后的图像输入深度卷积神经网络，进而用BLSTM进行分类。……