齐特 张志刚 西安财经大学 信息学院

1 概述

人类的语言分为自然语言和形体语言两类，面部表情是形体语言的一部分，面部表情是由人脸肌肉的运动形成的，是情感变化在面部可观察到的表现。随着服务机器人产业的兴起，模式识别走进大众视野，人们对表情的研究也逐渐增多：一些心理学家研究发现在人类进行会话交流传递信息时：话语内容7%+说话声音38%+表情55%，因此表情在人类交往活动中起到了重要的作用，对面部表情的识别与分析有着重要的意义。

作为一门多学科交叉的研究课题，人脸表情识别技术涉及到心理学、生理学、计算机科学、认知学等多个学科的知识。从目前的研究现状来看，表情识别技术进入一个研究的高潮与三个方面的推动因素有直接的关系：第一是新一代人机交互界面的构建推动了人脸表情识别技术的发展；第二是情感计算与情感智能的提出推动了人脸表情识别技术的发展；最后是与人脸表情识别相关的技术的成熟推动了人脸表情识别技术的发展。事实上，计算机本身计算性能的提高也促进了表情识别技术的进步。另外，在表情识别研究过程中，人脸识别、定位、跟踪技术中有许多成熟的算法都可以应用到表情识别研究中，从而推动了表情识别技术的发展。

2 国内外发展现状

目前国际上关于面部表情的分析与识别的研究工作可分为基于心理学和计算机两类。其中美国心理学家Ekman 和Friesen 定义了6 种基本表情：生气、厌恶、害怕、伤心、高兴和吃惊，并开发了面部动作编码系统FACS(Facial Action Coding System)来检测面部表情的细微变化。系统将人脸划分为若干个运动单元AU(Action Unite)来描述面部动作，这些运动单元显示了人脸运动与表情的对应关系。计算机方面，Suwa 和Sugie 根据一段脸部视频变化抽取表情特征与典型模式比较进行表情识别，terzopoulous 和Waters 运用了简化的Ekman-Friesen 模型，用计算机产生人脸动画。

国内在该领域的研究还是个较新的课题，清华大学的清华人脸表情数据库包含常见的8 种感情类表情和中文语音发音的说话类表情。北京航空航天大学毛峡教授等人建立了基于多种情感的北航人脸表情数据库，包含了18 种单一表情、3 种混合表情和4 种复杂表情，具有多种在其他人脸数据库中未曾出现的情感表情。中国科学院计算技术研究所的CAS-PEAL 人脸数据库包含了7 种类别（姿势、表情、光照、背景、距离和时间）的人脸图像。其中表情子数据集包括包含微笑皱眉惊讶闭眼和张嘴等。尽管取得了一些成绩，但是和国外相比，国内的研究处于起步阶段，和发达国家相比还有很大的差距。

3 主要应用领域

表情识别技术已经在生活中得到应用，主要包括人机交互、安全、通信、机器人、交通、面部神经分析等六个领域，在人机交互当中，计算机利用人脸表情作为控制命令指示计算机操作，通过事先训练，当计算机实时监控人脸表情变化并发现作为控制命令出现的表情信息时，计算机就会按照既定的程序做出反映；在安全领域，可以通过识别指纹或是人脸检测等生物信息来进行身份验证；在通信领域，通话的双方都建立一个虚拟人头部模型，仅仅通过网络传递对方的语言和面部表情，并且利用面部表情信号驱动虚拟人头部模型进行相应的表情变化，大大节省了带宽，并尽可能地传递对方要表达的信息；在机器人制造领域，表情识别技术使得机器人不再是一个简单的、按照给定程序工作的机器，而是一个开始学习去理解人的想法，以便更好地为人类服务的“智能人”；在交通应用领域，通过设计安装在汽车上用来检测司机疲劳的状态，以提醒司机需要注意安全的设备；在面部神经瘫痪分析方面，可以通过机器来进行人脸图像实时传输和人脸图像合成与动画。

4 关键技术

用计算机来自动分析、识别面部表情是一个非常复杂的问题，关键在于建立一个合理的人类情绪(human emotions)模型并将它与人脸面部特征及表情的变化特征联系起来[6-7]。表情识别主要依赖几个方面的因素：1.对人脸的熟悉程度，能使对表情的理解变得更加深入和精细。2.对各种表情的体验需要结合心理学方面的知识，这是表情识别的难点所在。3.实时获得人脸面部变化的完整信息，或者采用合理的补偿方法进行补偿也是表情识别系统中需要处理的难题。4.化妆、眼镜、遮挡等非视觉因素，对表情识别将带来困难。5.采集自然表情的难度加大。6.外部环境等干扰因素会直接导致识别出现错误。

5 发展趋势

从表情识别目前的发展情况来看，未来将会有以下几个热点及趋势：(1)提高表情识别的效率和速率，不断有新的表情识别方法和改进方案被提出；(2)解放以往需要人工辅助的工作。以实现表情识别的自动化；(3)从对静态图像转向动态视频表情序列的研究，以充分利用表情的时空信息；(4)随着3维人脸模型在人脸识别中的成功应用，表情识别研究也从2 维向3 维空间发展；(5)从对基本表情的识别逐渐转向更为复杂的精细表情、混合表情及非基本表情的识别；(6)与人脸跟踪、识别及合成等技术相结合来构建各种实时的表情识别系统。

6 结语

现今，人脸识别系统已经推向商业应用，而表情识别系统仍难以满足实际需要。未来的人机交互中，情感将是不可忽视的因素，而表情又是情感交流的门户，表情识别必将在情感化人机交互中占有重要地位。所以，在当今科学高度发展、智能识别技术日益进步的条件下，需要以勇气与智慧来挑战表情识别的难点问题，并进行创新性研究，以便早日使机器接近人类的情感智能水平。