孙 晓，丁小龙

1.合肥工业大学 情感计算与系统结构研究所，合肥230601

2.合肥工业大学 计算机与信息学院，合肥230601

1 引言

人脸表情是人们日常生活中最有效的交流方式之一，通常将它定义为面部肌肉对内在情绪状态所产生的一个或多个运动和变化。自20世纪90年代以来，许多人员致力于该领域的研究[1]。

人脸表情识别包含三部分：图像预处理、特征提取和表情分类。根据特征提取的方法，可以分为基于纹理特征的方法[2]、基于几何特征的方法[3]和基于深度神经网络的方法[4-5]。近几年，飞速发展的深度学习技术和规模越来越大的数据集使得基于深度神经网络的方法在图像识别领域更加重要。

深度神经网络离不开大规模数据，然而对于人脸表情数据集来说，标准人脸表情数据库CK+仅有327个标注的视频序列[6]，更早的数据库JAFFE仅有213张面部表情图片[7]。人脸表情数据库还有一个普遍的问题：数据量不平衡。RAF数据库中快乐标签下的数据量是恐惧的17倍；CK+数据库仅有18个蔑视的序列。因此，需要一种图像生成技术，在扩充数据集的同时解决数据量不平衡的问题。为了解决这一问题，研究人员提出了一系列图像处理操作来增加数据库样本的数量，这个过程被称作数据增强。

2 相关工作

2.1 人脸表情数据增强

数据越多，机器学习算法就越有效，在数据量不足的情况下，需要通过一些数据增强方案来扩充训练集，解决过拟合的问题。

最常见的做法是对原始图像进行一些几何变换来模拟真实场景下不同的拍摄角度和拍摄距离，例如旋转、缩放、平移、镜像等。……