陈宇斌

基于改进核判别算法的视频运动人脸图像相似表情识别研究

陈宇斌

（漳州卫生职业学院，福建 漳州 363000）

：传统的视频运动人脸图像相似表情识别方法，利用小波变换提取人脸特征，后续特征分解效果不理想，导致表情识别准确度较低。为此，提出基于改进核判别算法的视频运动人脸图像相似表情识别研究。采用积分图法提取视频中的人脸表情，得到特征矩形区域。结合核判别算法对特征矩形区域进行分解得出表情特征矢量。结合弹性模板匹配法，计算和匹配表情特征矢量，得出匹配最优的表情，完成人脸图像相似表情识别。为验证所提方法的应用性能，设计仿真实验。实验结果表明，与传统方法相比，所提方法的表情识别准确度更高。本文设计识别方法具有应用有效性，为相关领域提供可靠依据。

人脸表情；核判别；特征矩形；特征矢量；表情类型

目前多媒体技术可以让计算机采集用户的图像信息以及语音信息来形成计算机视觉和听觉，并对使用者的意图进行感知[1-3]。因此目前的图像处理技术研究方向向着实时视频信息中人体动作、人脸表情识别等方面发展。在心理学领域中阐述了脸部表情和倾斜之间的关系。国外研究者在计算机高速发展的背景下进行人脸表情分析工作，较常用的方法为Gabor小波和KDCV两种方法，当前国内相关研究也得到了一些较好的研究成果。文献[4]提出提出基于滑动窗口动态时间规整算法的视频表情识别方法。利用梯度方向直方图特征计算代价矩阵，在此基础上增加滑动窗口机制，计算滑动窗口的平均距离，实现视频运动人脸表情识别。该方法虽然应用效果较好，但是由于时间窗口规划难度较大，该方法无法广泛应用。文献[5]提出基于QPSO优化的视频人脸识别算法。首先提取纹理特征，并对纹理特征进行融合，结合QPSO优化方法获取视频人脸的内在表示，完成视频人脸图像的识别。但在实际应用中发现该方法的识别精度较低。且大多数目前的人脸表情识别方法对图像视频清晰度要求较高，对低清晰度中人脸表情识别准确度不高[6-8]。

1 基于改进核判别算法的视频运动人脸图像相似表情识别设计

1.1 积分图法人脸表情特征提取

通过建立区域像素和，对图片中的任何矩形区域得出像素和，在对人类表情特征进行计算时，计算矩形区域的像素和。而在视频中人脸的表情动作，即为连续的图片组，而每张图片的像素点较多[9]。因此本文通过积分图法来优化识别过程，通过将图像进行一次遍历，计算图像中原点和图像中其它点所组成的矩形区域像素和，并将图像中的矩形区域的像素和使用数组值来进行计算，根据输入图谱建立的积分图如图1所示。

图1 积分图描述

图2 积分图计算方法

1.2 核判别算法特征分解

核判别算法是非线性数据的处理技术的算法，但该算法不能有效提高数据的线性可分性，因此对核判别算法进行改进，在数据的处理方法上使用核映射[10-11]。核映射的主要功能是将核函数与特征空间中的内积进行关联，利用核映射将特征空间中的聚类问题和原始样本空问中的分类问题联系起来，提高数据的线性可分性。

而为了提高核判别算法的准确度，需要在矩阵特征空间中的最大化类间散度，并保证矩阵的类内散度最小化，即：

当满足式(7)时，则为式(6)的最优解。在对人脸表情特征进行分解后，使用分级后的特征矢量来进行弹性模板匹配。

1.3 弹性模板匹配

在对人类表情特征分解后，本文使用弹性模板匹配法来对分解后的表情特征与表情模板库进行匹配。最小能量函数来作为两者的最佳匹配度量，能力函数如下所示：

2 实验论证分析

为了验证本文设计的人脸相似度表情识别方法的可行性，使用某高校的人脸表情库JAFFE，并使用本文设计的人脸相似度表情识别方法与文献[3, 6, 7]中的表情识别方法进行对比实验。

2.1 实验表情库

本实验中使用的人脸表情库JAFFE，在该数据库中包括15位男性和15位女性，其中包括了3个人种，且每人均记录了生气、悲伤、惊讶、中性、厌恶、恐惧、高兴7种表情，且每个表情4张，共840张表情图，且表情图均进行了正常保持和模糊处理。实验中将该表情库中表情作为表情识别方法的表情模板库，并使用人物视频来进行表情识别。

2.2 实验设备

实验中使用计算机的显示器型号为Amoi JX2402，该显示器刷新频率为75Hz，分辨率为1920*1080。CPU主板采用型号为X99-F8。显卡采用型号为GTX960 2GB，接口为PCL-E 3.0。硬盘型号为WD10EZEX，容量1TB，摄像头为C270，最大分辨率1280*720。

2.3 实验识别视频

实验中进行运动人脸图像识别的视频为3个，3个视频中人物均出现了上述的7种表情，3个视频时长、清晰度等均有不同，实验中使用的视频情况如表1所示。

表1 实验测试视频情况

2.4 实验结果

使用4种人脸图像表情识别方法对1号视频中人物进行表情识别，方法1为本文设计的视频运动人脸图像表情识别方法，方法2为文献[4]中设计的视频运动人脸图像表情识别方法，方法3为文献[5]中设计的视频运动人脸图像表情识别方法，结果如表2所示。

表2 1号视频人脸表情识别识别率

在表2中可以看出，3种视频人脸表情识别方法对中性表情识别率相比较低，而从整体的人脸表情识别率结果上，方法1的识别率较其他方法较高。对视频2的运动人脸表情识别结果如表3所示。

表3 2号视频运动人脸表情识别识别率

由于视频2时间较短，视频中个别表情数量较少，导致整体识别率对比1号视频均较高，但方法3受视频清晰度影响较大，导致识别率在视频2低清晰度下识别率较低。3号视频人脸表情识别结果如表4所示。

表4 3号视频人脸表情识别识别率

如表4所示，在视频清晰度提高后，方法3的识别率明显提高，表2~4的识别率情况上，方法1的识别率高于其他人脸表情识别方法，证明本文设计的人脸图像表情识别方法具有可行性。

3 结束语

本文使用核判别算法来对人脸表情识别中的特征进行分解。实验结果验证了所提方法具有较高的人脸表情识别准确度。从实验中的3段视频测试结果中可以看出，不同表情的识别过程，所提方法的精确度一直保持在90%以上。但在本文设计中，并为对人脸表情数据库进行设计，方法需要依赖其他表情数据库，且受数据库内容影响。进一步研究会围绕着表情数据库的建立来进行。

[1] 王玉琪. 基于深度学习的人脸情绪识别研究[J]. 电子制作，2020(14): 36-37, 63

[2] 吴珂，周梦莹，李高阳，等. 基于角度几何特征的人脸表情识别[J]. 计算机应用与软件，2020, 37(07): 120-124

[3] 戴蓉. 基于面部生理特征和深度学习的表情识别方法[J]. 重庆理工大学学报：自然科学，2020, 34(06): 146-153

[4] 胡敏，张柯柯，王晓华，等. 结合滑动窗口动态时间规整和CNN的视频人脸表情识别[J]. 中国图象图形学报，2018, 23(8): 1144-1153

[5] 刘宇琦，赵宏伟，王玉. 一种基于QPSO优化的流形学习的视频人脸识别算法[J]. 自动化学报，2020, 46(02): 256-263

[6] 李婷婷，胡玉龙，魏枫林. 基于GAN改进的人脸表情识别算法及应用[J]. 吉林大学学报：理学版，2020, 58(03): 605-610

[7] 刘芾，李茂军，胡建文，等. 基于低像素人脸图像的表情识别[J]. 激光与光电子学进展，2020, 57(10): 97-104

[8] 孙冬梅，张飞飞，毛启容. 标签引导的生成对抗网络人脸表情识别域适应方法[J]. 计算机工程，2020, 46(05): 267-273, 281

[9] 王晓红，梁祐慈，麻祥才. 一种基于Inception思想的人脸表情分类深度学习算法研究[J]. 光学技术，2020, 46(03): 347-353

[10] 俞成，姚瑶，张青山，等. 基于正反残差块的人脸表情识别算法[J]. 软件，2020, 41(05): 156-159

[11] 张晗. BP神经网络算法在人脸识别中的应用研究[J]. 软件，2020, 41(05): 193-197

[12] 姚丽莎，徐国明，房波，等. 结合LBP和SVM的视频表情识别方法[J]. 山东理工大学学报：自然科学版，2020, 34(04): 67-72

[13] 薛娇，郑津津. 基于卷积神经网络的表情识别[J]. 工业控制计算机，2020, 33(04): 49-50, 54

[14] 巫英东. 基于ORB算法的实时人脸表情识别系统设计[J]. 信息与电脑：理论版，2020, 32(08): 35-37

[15] 王善敏，帅惠，刘青山. 关键点深度特征驱动人脸表情识别[J]. 中国图象图形学报，2020, 25(04): 813-823

Research on similar expression recognition of video moving face image based on improved kernel discriminant algorithm

CHEN Yu-bin

(Zhangzhou Health Vocational College, Fujian Zhangzhou 363000, China)

The traditional similar expression recognition method of video moving face image uses wavelet transform to extract face features. The subsequent feature decomposition effect is not ideal, resulting in low accuracy of expression recognition. In order to solve this problem, an improved kernel discriminant algorithm is proposed to recognize similar facial expressions in video moving face images. The integral graph method is used to extract the facial expression in the video, and the feature rectangle area is obtained. Combined with kernel discriminant algorithm, the feature rectangle region is decomposed to get the expression feature vector. Combined with the elastic template matching method, the expression feature vector is calculated and matched, and the optimal expression is obtained, and the similar expression recognition of face image is completed. In order to verify the application performance of the proposed method, simulation experiments are designed. Experimental results show that, compared with the traditional methods, the proposed method has higher accuracy in expression recognition. The identification method designed in this paper has application effectiveness and provides reliable basis for related fields.

facial expression；kernel discrimination；feature rectangle；feature vector；expression type

2020-09-01

课程诊断与改进指标体系及实证研究（福建省中青年教师教育科研项目（社科类）（JAS19663））

陈宇斌（1983-），女，福建漳州人，硕士，讲师，主要从事信息技术、计算机应用研究，qq55000bb@yeah.net。

TP391.4

A

1007-984X(2021)01-0036-05