殷 明 张剑心 史爱芹 刘电芝

(1江苏警官学院, 南京 210031) (2苏州大学教育学院, 苏州 215123)

(3南京师范大学教育科学学院, 南京 210024)

1 微表情的定义和特征

1.1 微表情定义

微表情是指在时间上呈现特别短暂的表情,持续时间约为1/25~1/2 s, 泄露性地表达了人们压抑或试图隐藏的真实情绪(Ekman & Friesen, 1975;吴奇, 申寻兵, 傅小兰, 2010)。

微表情既可以是整个面部肌肉的动作, 也可以只是面部中一部分肌肉的动作(Ekman, 2003;Ekman & O’Sullivan, 2006; Frank & Ekman, 2004;Frank, Svetieva et al., 2014; Porter & ten Brinke,2008)。微表情的呈现具有碎片化特征(Matsumoto,Keltner, Shiota, Frank, & O’Sullivan, 2008; Porter& ten Brinke, 2008)。已有研究发现的微表情都在主要基本情绪范畴：高兴、悲伤、愤怒、厌恶、恐惧、惊讶等, 尚未发现超出基本表情的微表情。相对于普通表情, 微表情表现为持续时间短、表情中断和对面部肌肉运动的抑制(Ekman & Friesen,1974), 由于它是自动的自然情感表达, 因此更难以控制(Ekman, 2001a; Hurley & Frank, 2011)。

1.2 持续时间

大部分研究者采用微表情发生范式研究其持续时间。微表情发生范式包括自然情境下发生和实验发生, 实验发生范式又有说谎−泄露(让被试说谎, 观察其真实微表情的泄露, Ekman & Friesen,1969a; Porter & ten Brinke, 2008; Frank & Ekman,2004; Frank, Svetieva et al., 2014)和压抑−诱发(让被试一直保持中性表情, 再用情绪图片或视频诱发产生未被意识到或未成功抑制住的微表情, Yan,Wu, Liang, Chen & Fu, 2013; Yan et al., 2014)两种范式。说谎−泄露范式研究中, Ekman和 Friesen(1974)认为微表情持续时间为 1/25~1/5 s; 但在Ekman的其它研究中, 有时微表情被定义为小于1/4 s (Ekman, 2003), 有时被定义为小于 1/3 s(Ekman & Rosenberg, 2005)。Polikovsky, Kameda和Ohta (2009)将持续时间规定在1/25~1/3 s。Frank,Herbasz, Sinuk, Keller和Nolan (2009)以及Matsumoto和Hwang (2011)甚至将呈现时间小于1/2 s的表情定义为微表情。Porter, ten Brinke和Wallace (2012)也认为微表情的时间范围应该长达1/2 s。而Yan,Wu, Liang等(2013)采用压抑−诱发的微表情发生范式, 得到微表情持续时间也是在1/2 s以内。

Shen, Wu和Fu (2012)则采用微表情识别正确率的变化模式作为微表情操作性定义, 让被试识别表情图片, 当图片持续时间在 200 ms以下时,识别成绩随图片呈现时间增加而提高, 时间超过200 ms后, 正确率不再有显著变化。同时事件相关电位研究结果表明, 被试在观看呈现时间为200 ms以上和 200 ms以下的表情图片时 Cz和CPz电极上的VPP成分(vertex positive potential,大脑顶部中央区的 P2, 是表情情绪效价的经典指标之一)显著不同：当呈现时间小于200 ms时, 相比于正性和中性表情, 负性表情图片诱发了更大的VPP波幅; 当呈现时间大于200 ms时, 不同情绪效价的表情图片诱发的VPP波幅就没有差异了(申寻兵, 2012)。他们根据这些结果推断：“微表情和普通表情持续时间的分界点是200 ms”。由于采用的是微表情识别范式, 因此和上述微表情发生范式得到的持续时间不一致是合理的现象。笔者倾向于微表情发生范式确定的持续时间即约1/25~1/2 s, 因为微表情的理论定义是人们自身产生了真实表情的泄露, 取决于发生微表情的被试的心理：只要他极力控制自己的表情而失败, 发生了无意识的泄露, 即使高于200 ms让他人比较容易发现, 但被试自己不能察觉; 或者即使察觉到了, 但是认为自己及时控制和掩盖住了, 误以为其他人没有察觉, 仍应该属于微表情。当然Shen等(2012)和申寻兵(2012)从识别角度建立的微表情操作性定义, 虽然不适合作为微表情发生的定义, 因此不适合用在微表情发生领域, 但却是非常良好(简洁且有说服力)的微表情识别性定义, 未来可以广泛应用在微表情识别研究领域中。

1.3 发生情境——说谎

由于微表情表达的是人们想要压抑、隐藏的真实意图, 所以往往出现在说谎的时候, 且本人难以觉察。Ekman和 Friesen (1969b)认为在高风险的说谎情境中, 说谎被识破会导致对自己很不好的结果, 就容易因对真实情绪的压抑而出现微表情。微表情一般是不可以被自主控制的; 是与谎言识别关系密切的内部心理机制的外部显现; 是通向谎言识别的最好方式(Ekman & Friesen, 1974)。Porter和ten Brinke (2008)证实微表情经常发生在人们试图做出欺骗性的动态表情时, 特别是在伴随说谎的高风险和高奖励的实验情境中(Depaulo et al., 2003; Frank & Svetieva, 2012; Frank, Svetieva et al., 2014)。说谎者会表现出更少的愉悦, 更多的下巴上扬, 紧咬嘴唇等紧张动作; 另外如眉毛下垂或上扬, 微笑时嘴唇伸张等的幅度大于正常表情(DePaulo et al., 2003)。即使说谎者故意采用掩饰策略, 仍然无法阻止真实表情的泄露, 从而导致微表情产生。如Frank和Hurley (2014)发现说谎者即使报告自己采用了扑克脸的策略, 即试图做到像扑克牌一样面无表情, 仍然泄露了和没有报告采用该策略的说谎者一样多的微表情。但是说真话者中报告采用了扑克脸策略的被试却产生了显著少于未报告的真话者的微表情。这表明在说谎情境下, 主观刻意去隐藏自己的真实表情是无效的, 仍然会被微表情出卖(Hurley & Frank, 2011)。

已有研究发现微表情识别能力与辨别说谎的能力(Ekman & O’Sullivan, 1991; Frank & Ekman,1997) 以及社交能力正相关 (Matsumoto & Hwang,2011)。Warren, Schertle和Bull (2009)发现对局部面孔微表情识别能力与谎言识别能力相关。Matsumoto和 Hwang (2011)以及 Matsumoto等(2000)开发了微表情识别测验JACBART (见2.1), 发现其与谎言识别能力正相关。Frank, Maccario和Govindaraju(2009)以美国人和澳大利亚人为被试, 采用JACBART测量微表情识别能力, 仍然发现与谎言识别能力正相关。Frank和Hurley (2014)发现微表情识别能力与犯罪情景模拟水平的相关。因此微表情研究在心理健康、司法和执法、情报和安全以及企业界等容易发生说谎行为且会造成很大后果的领域很重要。

1.4 发生原理

Frank和Svetieva (2015)综述了已有研究, 认同微表情发生的认知神经机制是表情加工的双系统：椎体束运动系统驱动自主的和来源于大脑皮层的面部运动(如模仿和社交的面部表情); 而椎体束外运动系统驱动非自主的和来源于皮层下的面部运动(如基本情绪引发的表情) (Meihlke, 1973;Myers, 1976)。在社交场合,人们试图压抑、隐藏或掩盖自己真实情感的表达, 锥体束和锥体束外的运动系统同时被激活。当某种情绪被触发, 皮层下大脑会发送一种无意识的反射式的信号给面部神经; 个人的自主运动系统又发送一个信号抑制、放大或者掩盖其情绪表达(包括表情)以被社会和文化所接受。这将形成争夺面孔肌肉的“拔河比赛”, 当皮层下信号足够强大时, 真实表情将会泄露很短的时间, 然后自主运动系统恢复对表情的控制(Ekman & Friesen, 1982), 这就形成了微表情。

那么为什么在说谎时会发生这种“拔河比赛”呢？Frank和Svetieva (2015)总结大致有三个原因。

(1) Frank和Svetieva (2013)认为当说谎者产生谎言可能被识破的恐惧, 或者对说谎痛恨与内疚, 或者对说谎的对象感到蔑视和厌恶, 这时谎言就容易被表情出卖(Zuckerman, DePaulo, & Rosenthal,1981)。这些情绪可以产生一系列行为迹象如音调变高、坐立不安、语音错误和犹豫不决增加、厌恶目光和身体动作的增加(Ekman, 2001b; Ekman &Friesen, 1969b; Sporer & Schwandt, 2007; Vrij,Edward, Roberts, & Bull, 2000; Zuckerman et al.,1981), 其中就包括较多的短暂面部表情——微表情。

(2)说谎需要做出比说真话更大的认知努力(Buller & Burgoon, 1996; Sporer & Schwandt, 2006,2007; Zuckerman et al., 1981)。因为说谎者必须提供合理但虚假的理由, 还得记得先前是怎么说的,以保持前后一致, 避免说谎被发现(Vrij, 2008), 并且需要仔细监控自己和欺骗对象的行为(Spence et al., 2001; Vrij et al., 2008)。因此捏造的谎言越复杂, 需要的资源越多, 从而减少了对表情的有效控制(Ekman & Friesen, 1974)。该理论得到了不少实证研究支持(DePaulo et al., 2003; Bond & DePaulo,2006; Sporer & Schwandt, 2007)。

(3)由于说谎者担心自己可能做出与谎言有关的表情动作, 从而泄露了正在说谎的事实, 因此说谎者会试图控制自身的这些泄露性的线索和行为(Vrij, 2008; Zuckerman et al., 1981), 可能进行“印象管理” (Memon, Vrij, & Bull, 2003), 然而这种印象管理是一个复杂任务, 说谎者可能需要抑制神经系统以掩盖正在承受较大认知负荷的证据,因此会通过了解一个“诚实”的人的行为而有效地显示出“诚实”的假象(Memon et al., 2003), 导致其行为显得太有计划性、排练过、刚性或太圆滑(Vrij,2008)。如说谎者可能试图做出深思熟虑的样子,避免做出看起来不寻常的动作。因此说谎者更有可能显示出整体性身体动作, 减少手、胳膊、腿和脚的动作, 装出不那么厌恶的目光, 显示更少的言辞错误和犹豫不决、更短的响应延迟和更少的停顿(Sporer & Schwandt, 2006, 2007; Vrij,2008)。但是这些策略只能对自主的表情和动作产生控制, 对微表情却几乎无能为力, 反而恰恰是微表情形成的条件, ——正是由于试图控制表情,才与真实情绪产生了“拔河比赛”。

当然微表情检测结果可能被错误解释, 如被试可能害怕自己不被相信因而产生了微表情(Ekman,2001b; O’Sullivan, Frank, Hurley, & Tiwana, 2009)。因此研究者必须询问被试更多问题以寻找出微表情的真实动机(Frank, Yarbrough, & Ekman, 2006)。

综上可见微表情产生于表情加工双系统的“拔河比赛”的证据局限在行为实验数据, 尚缺乏电生理和脑成像实验数据, 难以比较直接地揭示机制, 因此还只能看作是推测性理论。

1.5 行为与神经特征

1.5.1 半脸

面部不对称研究表明, 社会化表情线索在右边的脸表现得更明显, 而个性化的感受则通过左边的脸显示, 因此左边脸的情感表达更强烈。Rothwell, Bandar, O’Shea 和 Mclean (2006)以及Porter和ten Brinke (2008)证实表情分为上下两部分。研究发现上部面孔肌肉的运动(前额和上眼睑)是由中央前回双边控制的; 而下部面孔肌肉运动(下眼睑、鼻子、脸颊和嘴唇)是由对侧控制。而自发的表情由皮层下结构如丘脑、苍白球双边控制。欺骗性的表情更常出现在下半部面孔, 因为人们可以自主操纵由对侧神经控制的下半部面孔, 从而产生欺骗性表情, 但是很难自主地控制上半部面孔的额内侧肌肉。由于表情可以分为不同机制的左右和上下脸, 因此微表情有时可能只出现在某个半脸上, 或者出现在每个半脸的微表情具有不同特征和性质, 这还未得到充分研究, 是一个尚待探索的新领域(Wojciechowski, Stolarski, &Matthews, 2014)。

1.5.2 动态特征

由于微表情持续时间短暂是与定义紧密相关的重要特征, 因此在定义之后就已单独介绍, 此处不再重复。笔者总结发现微表情的另一个突出特征是复杂的动态性：(1)眼睛和嘴唇是永久性表达器官, 脸部线条、皱纹则是瞬态特性。相比于悲伤和高兴, 惊讶、恐惧、厌恶和愤怒产生更多的面部运动包括瞬态运动, 所有表情的持久特征和瞬态特征会产生交互。(2)微表情有出现—高峰—消退三个阶段。Yan, Wu, Liang等(2013)借鉴普通表情的三阶段划分来深入分析微表情, 发现同样适用于微表情, 只是每个阶段的时间相比普通表情都更短, 整个过程在1/2 s内(普通表情为1/2~ 2 s以至更长), 这表明微表情在很短时间内就会产生完整的动态变化。(3)隐藏在普通表情中快速闪现。这三个动态因素交互作用导致微表情的动态特征十分明显和重要, 却又非常复杂, 因此特别需要考察微表情的面部肌肉运动、持续时间和表情改变。Kilts, Egan, Gideon, Ely和 Hoffman(2003)使用正电子发射断层扫描(PET)研究了静态或动态显示的普通面部表情如快乐愤怒的神经关联。发现被试看到静态的愤怒和高兴表情时, 运动、前额和顶叶皮层激活; 看到动态的高兴表情时, 楔叶、颞叶皮层和中间、内侧、外侧额叶激活。动态的愤怒表情增加了右半球内侧、外侧、中间、下额叶皮质和小脑的激活。ERP研究表明对威胁的加工出现在刺激呈现 80 ms后(Keil,Moratti, Sabatinelli, Bradley, & Lang, 2005;Pourtois, Grandjean, Sander, & Vuilleumier, 2004;Williams et al., 2004), 诱发了枕叶或枕顶部的P1。这些只是普通表情的动态特征研究, 对微表情动态特征研究只见到 Yan, Wu, Liang等(2013)将表情发生三阶段扩展应用到微表情发生的行为实验,其它两个动态特征及三者的交互尚需进一步探索。

1.5.3 量化指标

Bhushan (2015)总结了普通表情的量化指标：(1)面部表情的量化指标之一是肌电图(EMG)。皱眉肌和颧骨肌的肌电图能有效评估表情效价：皱眉肌控制眉毛, 而颧骨肌肉控制嘴唇。在产生高兴情绪和表情时, 皱眉肌的肌肉活动出现了线性降低, 而颧骨肌肉活动出现了线性增加(Bradley &Lang, 2000; Larsen, Norris, & Cacioppo, 2003),EMG能够记录两种运动。(2)植物神经系统功能的指标有皮肤电和心血管反应。皮肤电反应(GSR)能测量到交感神经系统的状态。某种情绪激活交感神经系统时, 它将导致汗水释放, 反过来会增加皮肤电导。心血管措施包括心率(HR)、血压(BP)、总外周阻力(TPR)、心输出量(CO)、前收缩时间(PEP), 和心率变异性(HRV)。这些都能作为情绪指标。皮肤电和心血管指标的选择取决于研究者感兴趣的是交感神经还是副交感神经系统。如果测量交感神经活动, 那么皮肤电导水平(sci)和前收缩时间(PEP)是合适指标; 但如果测量副交感神经活动, 那么HRV更可取。心率(HR)和血压(BP)则反映了交感神经和副交感神经系统活动的结合。(3)惊吓反应也被认为是衡量情感的重要指标,突然而强烈的刺激会产生颈部和背部肌肉的明显反应和眨眼, 杏仁核是惊吓反应的关键脑区。Lang(1995)认为惊吓反应和由此产生的防御反应的幅度, 以及杏仁核的激活程度可以衡量情绪。这些量化指标都只是针对普通表情, 是否适用于微表情尚需探索。微表情是自主和非自主神经系统的竞争, 因此可能交感和副交感神经系统都参与了微表情的发生和抑制, 并且两者的交互会呈现动态变化。

综合微表情的行为和神经特征可知, 由于微表情持续时间短暂, 存在半脸差异, 并且具有复杂的动态特征, 三个特征可能互相作用造成很短时间内, 在不同时间窗口的不同面部区域会产生许多复杂的生理−心理反应, 精细化地捕捉到这些反应将是一个有趣且富有挑战性的新领域, 这可能为微表情产生于表情加工双系统的“拔河比赛”理论提供生理−心理数据的证据。值得庆幸的是普通表情的量化指标特别是肌电的时间分辨度很高, 空间分辨率也较高, 可以作为研究微表情特征的直接且有效的指标！

1.6 微表情数据库

已有不同的研究团队把计算机科学和心理学相结合, 分别开发了不同的自动微表情识别系统并构建了数据库。日本的 Polikovsky等(2009)根据Polikovsky表情库探索出了3D梯度直方图的特征提取方法; 美国 Shreve, Godavarthy, Manohar,Goldgof和Sarkar (2009)构建了USF-HD数据库并采用光流法进行自动微表情识别研究; 美国Matsumoto和Ekman (1988)以及 Ekman和Rosenberg(2005)构建了JACFEE数据库和Cohn-Canade-504表情库等数据库。中国科学院心理研究所傅小兰团队的Yan, Wu, Liu, Wang和Fu (2013)改进前人的压抑−诱发方法, 构建了中国微表情数据库 CASME;Yan等(2014)进一步改进了CASME的样本数、帧率和图像质量, 形成了CASMEII, 为中国本土化微表情研究提供了数据库和技术支持。

2 微表情识别的测量和训练

微表情识别及其训练是与微表情特征和发生不同的概念。微表情特征和发生是指被试自己产生微表情的机制; 微表情识别及其训练则是指被试对他人微表情的识别机制, 以及对被试的这种识别能力的训练, 两者区别可见1.2的论述。由于微表情的实验诱发比较困难且不稳定, 因此对微表情发生机制和特征尚需进一步研究; 而微表情识别及其训练实验操作比较容易, 并且具有很大的应用价值, 因此得到了广泛深入的研究, 形成了比较成熟的范式。

2.1 微表情识别测量工具

Ekman和Freinsen (1969 b)发现, 让被试观看慢速度下播放的微表情视频, 然后再观看正常速度下播放的视频, 被试就可以看见正常播放速度下的微表情; 而直接将微表情呈现给医院临床工作者观看, 有一些临床工作者不借助慢速播放的练习过程, 同样可以观察到微表情。这表明微表情识别是有技巧的、可以通过练习获得的, 一些特殊群体的微表情识别能力比其他人高。随着面部肌肉动作编码系统的发展, Ekman和Friesen (1974)制作了第一个微表情识别标准测验——“短暂表情识别测验” (Brief Affect Recognition Test, BART)：给被试观看呈现时间为1/100~1/25 s的微表情图片(悲伤、恐惧、愤怒、厌恶、惊讶、高兴), 然后判断表情类型, 记录识别正确率。

BART存在明显的缺点：微表情孤立呈现, 与现实生活中微表情的动态呈现方式不符, 缺乏生态效度; 被试会在微表情呈现结束后继续对其进行加工, 延长知觉加工时间, 无法避免图片的视觉后效。为了克服这些缺陷, Matsumoto等(2000)开发了更完善的微表情识别测量工具——“日本人与高加索人短暂表情识别测验” (Japanese and Caucasian Brief Affect Recognition Test, JACBART)：被试首先会看到一张持续时间为2 s的中性表情图片, 然后短暂呈现微表情, 紧接着中性表情图片会再次呈现2 s, 被试只需要将看到的微表情在表情标签中勾选出来。前后中性表情的使用消除了图片视觉后效的影响, 且使实验更具生态化。Matsumoto等(2000)使用该测验对美国大学生进行测量, 结果发现, 不同情绪的微表情之间识别的正确率有显著差异：“高兴和惊讶情绪的识别正确率显著高于其他情绪; 厌恶情绪识别正确率明显低于其他情绪。”将测量成绩与人格量表得分进行相关分析发现, 微表情识别的分数与在艾森克人格量表的外倾性维度和大五人格量表的开放性维度上的得分具有显著正相关, 表明该测验具有很好的会聚效度和一定的预测效度。鉴于该测验具有良好的信效度和严密的实验过程, 以后研究者大都采用该测量范式, 由于以后研究大多是微表情识别测量和训练一起进行, 因此具体研究将在下一节2.2微表情识别训练工具中介绍。

Ihme等(2013)首次采用fMRI探索了JACBART微表情识别的脑机制, 发现对负性微表情的识别更多激活了基底节, 而对高兴和惊讶微表情的识别更多激活了眶额皮层。这两个脑区也是普通表情的加工脑区, 但该研究没有设置普通表情对照组, 因此无法揭示微表情识别和普通表情识别的差异, 未来研究应该做这样的进一步探索。

有效测量微表情识别能力工具的出现, 推动了微表情识别的研究。但是还受到不少制约, 最大障碍是由于微表情呈现时间较短, 且有前后表情背景掩蔽, 人们很难觉察到微表情的存在, 因而识别正确率较低, 某些微表情容易出现地板效应。一方面这是微表情的本质特征之一, 这种不均匀的地板效应值得进一步探究; 另一方面表明人们的微表情识别能力天生不高, 有必要进行训练。

2.2 微表情识别训练工具

研究发现人们可以很容易识别普通表情, 但对微表情识别很困难, 如果没有经过训练的话,通常正确率为45~59% (Hall & Matsumoto, 2004;Matsumoto & Hwang, 2011; Russell, Chu, & Phillips,2006), 因此需要进行微表情识别训练。Ekman (2002)根据 JACBART开发出了一个微表情识别的训练工具METT (Micro Expression Trainning Tool)。该训练工具训练7种(悲伤、恐惧、愤怒、厌恶、轻蔑、惊讶、高兴)基本情绪的微表情, 分为5个模块分别是：前测(Pretest)、训练(Training)、练习(Practice)、复习(Review)、后测(Posttest)。前测和后测均采用 JACBART测验。前测阶段测量被试在没有接受任何训练时的微表情识别能力; 训练阶段让被试观看微表情特点和识别技巧的讲解视频;练习阶段被试采用训练阶段掌握的技巧进行微表情识别练习, 可以获得结果反馈; 复习阶段被试继续练习微表情识别技巧, 提高识别的准确率;后测阶段与前测阶段一样。把被试前后测成绩差异作为METT训练对微表情识别能力提高的量化指标。结果发现METT能够成功提高被试的微表情识别能力。

此后METT被应用在多种人群和领域, 如大学生(Hall & Matsumoto, 2004)、百货商店员工和审讯顾问(Matsumoto & Hwang, 2011)、海岸警卫队官员、澳大利亚警察和海关、中国香港警察和海关官员(Frank, Kim, Kang, Kurylo, & Matsumoto,2014; Frank, Matsumoto, Ekman, Kang, & Kurylo,2014)、测谎(Warren et al., 2009)等, 发现这些被试经过 METT训练都会有较好的提高。Frank,Matsumoto, Ekman, Kang和Kurylo (2014)还发现经过微表情识别训练后, 海岸警卫队和大学生在现实生活中对隐藏的微表情的识别能力得到了提高。FBI对学员进行微表情训练, 显著提高了实际工作中的测谎能力(Matsumoto, Hwang, Skinner, &Frank, 2014)。METT还应用于训练有表情识别障碍的特殊人群, 以提高其微表情和表情识别能力和社交能力 (Hurley, 2012; Matsumoto & Hwang,2011; Russell et al., 2006)。可见METT微表情训练的生态效度很好。

微表情训练方式会影响训练效果。Hurley (2012)采用METT范式研究持续强化、动机强度、自信、训练方式等因素与微表情识别能力的关系, 结果表明在训练过程中有专业人员亲自指导时的实验组, 后测成绩正确率比仅仅只有单独的视频学习的训练组学习正确率高; 自信和动机水平越高的被试识别正确率越高, 实验进行 3次训练和测量(初次训练、3周后训练、6周后训练), 控制组和训练组识别正确率均随测量次数的增加而增大,但是训练组的识别正确率进步比控制组更加明显。这一研究表明不同的训练方式会导致不同效果, 比起自学, 专业指导的效果更好。

以上研究都是采用的是 METT训练范式, 这是人为的带有目的性和指导性的训练。而 Hurley(2012)以及Matsumoto等(2000)对同一批被试进行多次重复测量, 结果表明虽然没有接受METT训练, 被试的微表情识别能力还是得到了提高, 说明不断地曝露在微表情识别任务中, 具有和训练相似的效果。这种多次曝露训练范式类似于真实生活中对微表情识别的自然训练, 现实生活中人们通常对微表情识别没有专业技巧, 甚至没有聚焦的意识, 仅通过与他人社交时多次曝露在微表情环境下, 其微表情识别能力就自然获得了训练和提高(Hurley, 2012; Hurley, Anker, Frank, Matsumoto,& Hwang, 2014), 因此研究多次曝露训练范式有利于揭示自然训练的特征和影响因素。但是这方面研究很少, 仅上述两篇, 且没有考察影响因素,因此应该进一步深入探讨。而且Hurley (2012)和Matsumoto等(2000)都还没有研究多次曝露训练范式的训练效应产生的原因。本文推测有4个可能的原因：(1)多次曝露提高了被试对镶嵌在中性背景表情中的短暂微表情的视敏度和视觉加工的易化, 类似于视觉研究领域的经典范式知觉训练的原理。(2)被试本就有一些外显/内隐识别策略, 在多次识别任务过程中可能发展出了新的有效的外显/内隐识别策略。(3)多次识别之间存在时间间隔,被试产生了自动的线下加工。(4)由于识别任务使得被试意识到微表情的存在, 可能在现实生活中对他人的微表情加强了注意。这些可能性值得探索。

那么微表情训练需要多久, 效果可以持续多久呢？Ekman (2009)发现被试在经过METT训练1.5小时后, 微表情识别能力得到了显著提高, 后测的成绩普遍提高30%~40%, 但未继续考查METT训练效果的维持时间。Hurley (2012)以及 Matsumoto和Hwang (2011)研究表明, 短期微表情训练(0.5~1.5小时)可以提高微表情识别且能持续几周时间。Frank, Kim, Kang, Kurylo 和 Matsumoto (2014)以及Frank, Matsumoto等(2014)发现至少30分钟的训练效果甚至可以延续至6~20个月。

2.3 影响因素

2.3.1 性别

Frank, Maccario等(2009)对比了不同性别的微表情识别训练效果, 但并未发现差异。Hurley等(2014)也发现性别之间没有差异。但是 Hall和Matsumoto (2004)以及 Mufson和 Nowicki (1991)发现女性通常对微表情识别更准确, 即使排除了年龄和人格的差异。Hall和Matsumoto (2004)推测可能是男女的社交模式不同, 认知交替处理能力或信心不同。可见性别差异需要进一步研究。

2.3.2 年龄

Mill, Allik, Realo和Valk (2009)发现表情识别特别是负性表情识别与年龄有关, 年龄更大的成年人在识别愤怒悲伤恐惧等表情时的正确率更低。Hurley等(2014)发现成年人的年龄与 JACBART所测得的各微表情识别正确率负相关。可见年龄确实影响微表情识别。

2.3.3 职业

Frank, Maccario等(2009)采用METT研究微表情识别训练在不同职业人群中的有效性。他们发现从事不同工作的人微表情识别的能力没有显著差别, 无论是从事需要与谎言打交道的职业,还是从事其他普通工作的人员, 在 METT后测中成绩都有显著的提高。同时在真实情境中的微表情识别能力在训练过后也得到了提高。但是Hurley (2012)发现从事需要与谎言打交道的职业如审讯顾问的微表情识别能力显著高于普通人;Hurley等(2014)的研究 2也发现从事法律工作的年限与微表情识别能力正相关。这些研究的矛盾可能是对与谎言打交道的职业定义不同, 前者包括了所有警察, 后两者则只包括了审讯顾问、律师等参与更多谎言识别的职业。

2.3.4 文化/种族

普通表情中的基本表情反应了个体对事件的评价、生理反应、认知和主观经验。这些基本表情已被证明存在于许多不同的文化(如 27个不同国家, Matsumoto, Nezlek, & Koopmann, 2007)。Matsumoto和Hwang (2011)以及 Russell等(2006)研究表明不同的群体都能经过快速训练提高微表情识别能力。而文化能够影响各种表情的社会意义和表达方式, 因此微表情可能受文化调节(Castillo,2015)。比如 Matsumoto, Yoo和 Fontaine (2008)发现个人主义文化中的人一般比其它文化中的人愿意表达出更多的真实表情, 认为这可能会导致这类群体对微表情有更好的识别, 或者别的群体对他们的微表情更容易识别。但是对微表情表达和识别与训练的跨文化差异研究几乎没有(Castillo,2015), 需要进一步探索。

2.3.5 个体心理特征

面部表情识别能力与稳定的个体特征有一定的联系, 表情识别能力强的个体在人际交往中的目的性和观察力会更强, 他们应该能更好地与环境或他人相处。作为一项重要的非语言交流系统,这一能力可以一定程度保证对人际的适应和操控,确保自我与外部环境之间的稳定和平衡。因此面部表情识别能力(包括微表情识别能力)与个体特征的关系值得探查。

临床研究发现微表情识别能力与对动态表情识别(Marsh et al., 2010)以及视觉注意力的变化相关(Russell, Green, Simpson, & Coltheart, 2008),说明微表情识别能力与个体的认知能力有关。但是这方面的研究很少, 未来可以检验工作记忆、认知控制能力、知觉敏感性和速度、智力等认知因素与微表情识别能力的关系。

Matsumoto等(2000)利用JACBART研究了微表情识别能力和人格之间的关系, 结果表明被试的微表情识别能力和大五人格中人格外向性和尽责性维度上的得分有显著正相关, 微表情识别能力和艾森克人格问卷中内−外倾维度上的得分有显著正相关, 和神经质维度上的得分有显著负相关。Mill等(2009)发现开放性高和有责任心的个人更擅长识别微表情。Hurley等(2014)的研究 1显示高开放性的大学生识别微表情能力更强, 但是人格无法预测训练效果。可能有三个原因：一是人格对短期训练不敏感, 可能与更长时间的训练相关。二是采用的是 METT训练范式, 这种人为的带有目的性和指导性的训练可能更多与动机、注意力、技巧学习和运用相关; 而如果采用接近自然训练的多次曝露训练范式, 由于没有识别技巧的指导这种变量影响, 个体心理特征的作用不易被掩盖, 就有可能检测到人格对自然训练的影响。三是没有考虑性别因素, 男女在微表情识别可能存在差异(Hall & Matsumoto, 2004; Mufson &Nowicki, 1991), 而在同一个人格维度上两者加工脑区又不同, 如开放性维度女性主要在前额叶, 男性在前额叶和扣带回(Sutin, Beason-Held, Resnick,& Costa, 2009), 因此很可能两者人格与微表情识别训练的关系不同。另外不同的训练方式中人格与训练效应的相关是否存在差异、能否预测训练效果持续时间以及训练效果在真实生活中的迁移等, 都值得探索！

不少研究证明了微表情识别能力与个人的多种社会因素相关, 如社交技能(Matsumoto & Hwang,2011)、下属对领导的评级(Rubin, Munz, & Bommer,2005)和幸福感(Carton, Kessler, & Pape, 1999)。Endres和 Laidlaw (2009)采用 METT对医学院学生的微表情识别能力进行探究, 根据被试临床交流技能分为两个组, 结果发现同样是接受 METT训练,具有高临床交流技能的学生训练后的微表情识别的能力有了显著地提高, 但临床交流技能低的学生却未能显著地提高自己的微表情识别能力。该研究同样表明不同个体的微表情识别能力确实是存在差异, 接受微表情识别训练的效果也因人而异。同时个人的动机强度、知觉敏感性、自信心水平等心理学因素对微表情识别亦有影响。由于表情识别与同理心、宽容、行为控制、女性气质、集体性、社会敏感性和家庭情感表达有关(Hall,Andrzejewski, & Yopchick, 2009; Mufson & Nowicki,1991), 因此Hurley等(2014)认为这些因素很可能也与微表情识别相关, 但尚没有对这些因素做探索。

3 表情背景对微表情的影响

微表情通常出现在一连串的其它表情背景中,此时人们处于情绪压抑状态或者正在隐藏自己的真实意图。BART、JACFEE和METT范式的微表情都是人工制作的——一个短暂呈现的情绪表情或插入到两个中性表情之间, 这只是最简单的微表情, 因为真实微表情通常会出现在带有情绪的面部表情之间, 其背景是多样、变化、流动的。人们对微表情的识别会受到这种变化背景的影响,因此应该将微表情置于前后表情之中进行呈现与识别才更真实。

3.1 情绪启动

探索表情背景影响的一种范式是情绪启动：在对目标表情进行识别前, 有一个情绪启动, 启动情绪的效价对目标表情识别有很大影响(Tanaka-Matsumi, Attivissimo, Nelson, & D’Urso, 1995;Carroll & Russell, 1996)。Righart和 de Gelder (2010)发现把负性目标表情置于负性的前后表情背景中时, 被试识别目标表情的正确率和反应速度都明显高于在正性表情背景中时。Werheid, Alpay,Jentzsch和Sommer (2005)发现当启动图片为愤怒时, 被试识别愤怒比识别高兴的目标表情图片正确率要高且速度更快。Hietanen和Astikainen (2013)证明在正性表情启动下, 被试对高兴的目标表情的识别正确率明显高于在负性表情启动下, 而对悲伤表情的识别正确率在悲伤表情启动条件下得到提高。吴冉和任衍具(2011)则以微表情作为启动刺激, 发现正负性微表情都会影响到对目标刺激的偏好, 微表情阈上呈现(120 ms)比呈阈下呈现(40 ms)产生的启动效应更强。

当然情绪启动效应研究和表情背景对微表情识别的影响有很大差别。情绪启动范式中启动刺激通常都会持续较短时间, 而目标表情会持续较长时间; 微表情的研究范式正好相反, 前后的表情背景呈现时间较长, 而微表情只是一闪而过。

3.2 微表情的背景效应

经典的JACBART和METT范式在微表情前后都只用中性表情来消除图像后效, 没有关注在微表情前后加入带有情绪的表情图片会带来怎样影响; 而情绪启动效应只探索了表情背景对普通表情或其它认知加工的影响, 没有探讨表情背景对微表情的影响。因此Zhang, Fu, Chen和Fu (2014)首次探索了微表情的背景效应, 发现当背景表情为负性时, 所有的目标微表情识别正确率均低于正性或中性表情背景, 即负性的背景表情会损害被试对目标微表情的捕捉; 当背景表情和目标微表情的效价一致时(同为正性或同为负性), 同一种微表情在一致背景时会低于不一致背景。另外高兴表情识别的正确率明显高于其他表情, 而恐惧表情的识别正确率明显低于其他表情。该研究突破了传统微表情研究的中性表情背景范式, 十分具有启发性, 但尚需进一步发展：第一方面其背景表情只有悲伤、高兴、中性三种, 未能全面探索所有表情背景。第二方面其目的只是探索背景情绪效价对微表情的影响, 没有揭示在各表情背景中的微表情实质上是与中性背景微表情具有本质差异的新微表情即生态化微表情——其识别正确率与中性背景微表情有差异, 预示着识别机制可能不同; 而且还可能会受背景表情的启动、诱导或掩蔽作用影响产生正性或负性扭曲。第三方面由于上两个原因, 导致没有创建生态化微表情的概念和标准化测验与训练范式, 尚没有如Matsumoto等(2000)检验信效度建立经典JACBART微表情识别测验, 没有进一步如Ekman (2002)建立经典METT微表情识别训练。

4 未来研究展望

4.1 尝试跨越微表情发生和微表情识别及其训练的界限

微表情发生和微表情识别及其训练是两个比较独立的领域, 固然因为两者是具有本质差异的认知加工。(1)另一个重要原因是真实微表情难以获得, 导致已有微表情识别和训练研究都是采用普通表情短暂闪现来近似微表情, 尚未采用微表情发生范式获得的真实微表情。(2)而微表情发生的说谎−泄露范式考虑了微表情识别, 创设了说谎压力情境——主试或警察通过对被试微表情识别来判断是否说谎; 微表情发生的压抑−诱发范式让被试保持平静的中性表情, 隐含着主试对被试进行微表情识别和审核的意思, 以判断被试是否成功保持了平静表情, 可见两者都只是把微表情识别作为微表情发生的情境, 没有做专门研究以分离出微表情识别对微表情发生的影响。

但是现实生活中微表情发生和识别通常是一起发生且交互作用的, 继续保持两个领域的独立发展不利于探索真实微表情的机制, 本文认为可以采用两个途径尝试跨越两个领域的界限：(1) 微表情发生→微表情识别。Yan, Wu, Liu等(2013)以及Yan等(2014)建立了中国微表情数据库CASME和 CASMEII, 这些数据库是比较真实的微表情;说谎−泄露范式的研究也获得了很多真实微表情(Porter & ten Brinke, 2008; Frank & Ekman, 2004;Frank, Svetieva et al., 2014), 未来可以采用这些真实微表情改进 JACBART和 METT。进一步可探索人们识别不同微表情发生范式获得的真实微表情的特征和差异, 不同发生范式下的真实微表情的哪些类型(情绪效价)和特征(半脸和动态)可以比较轻易地被他人识别, 另一些则难以被他人识别, 其中的原理是什么。(2) 微表情识别→微表情发生。微表情表达者能否判断自己微表情是否被他人识别？这种判断包含了微表情表达者对自己微表情发生的觉察(甚至可以定义为对自己微表情的内部识别)和对他人识别自己微表情的推测,将如何影响其微表情发生？更扩展一些, 探索人们对他人的微表情识别如何影响自己的微表情发生。Shen等(2012)和申寻兵(2012)建立了微表情识别性定义, 虽然不能作为微表情发生定义, 但是就可以应用于微表情识别对微表情发生的影响的探索中。未来可通过这两个途径发展出更真实更生态化的新微表情发生、识别和训练范式。

另外值得注意的是, 微表情识别训练不能简称为微表情训练。因为还有对微表情发生的训练,如训练被试控制和掩盖自己的微表情发生和扭曲,训练被试对自己微表情的意识程度, 训练被试判断他人对自己微表情的觉察。由于微表情发生的训练比较特殊, 属于国防和商业间谍项目, 因此尚未见到相关文献, 本文无法做介绍。但这是一个值得探索的领域。

4.2 采用生理−心理、电生理和脑成像技术探索微表情机制的解决方法

已有微表情发生、识别和训练的研究, 大都是行为实验, 很少有用 ERP或 fMRI等脑成像技术探索脑机制的研究。微表情识别和训练很容易通过实验实现, 且有成熟范式, 但其电生理和脑成像研究发表的很少, 一个原因是国外研究者出于国防应用的保密性考虑, 很多成果没有发表。

而微表情产生于表情加工的双系统的“拔河比赛”的证据局限在行为实验数据, 尚缺乏电生理和脑成像实验数据的较直接的揭示机制的证据,因此还只能看作是推测性理论。其主要原因是微表情诱发较困难且不稳定, 而Yan, Wu, Liu等(2013)改进的压抑−诱发微表情发生范式建立了中国微表情数据库 CASME, 该改进版能够比较稳定地产生较高概率的微表情, 而且是通过简单的实验操作来实现, 不需要创设说谎情境(梁静等, 2013),未来可以开发为电生理和脑成像的有效范式。其中需要解决的难题是其微表情的标签目前需要线下人工确定, Yan等(2014)利用自动化表情识别技术,根据 CASME的数据常模, 开发了可自动化机器识别的CASMEII, 因此未来可以利用CASMEII的自动微表情识别技术或者面部肌电指标在线上自动打上标签, 以推进微表情的电生理和脑成像研究。

微表情动态特征非常复杂, 对其研究只见到Yan, Wu, Liang等等(2013)将表情发生三阶段扩展应用到微表情发生的行为实验, 而面孔的长久特征和瞬态特征、微表情的短暂呈现受背景表情影响这两个动态特征尚缺乏研究, 三者的交互更需探索。由于生理−心理指标特别是肌电的时空分辨度较高, 未来可作为研究微表情动态特征的直接且有效的指标。

4.3 探索微表情发生的影响因素

已有微表情影响因素的研究集中在微表情识别及其训练上, 发现性别、年龄、职业、文化/种族、个人心理特征包括人格和认知因素、背景表情等; 尚未见到考察微表情发生和机制的影响因素的研究。未来可以借鉴微表情识别和训练的影响因素研究, 探索这些因素是否影响微表情发生和机制。

4.4 生态化微表情

4.4.1 建立生态化微表情识别标准测验和训练

既然已有研究证明表情背景会对微表情识别产生影响(Zhang et al., 2014), 进一步研究就可以采用七种基本表情(悲伤、恐惧、愤怒、厌恶、平静即中性、惊讶、高兴)作为背景建立生态化微表情识别的标准测验, 获得良好的信效度。比较在不同基线下的同一种微表情识别差异, 以及同一种基线下不同微表情识别差异。并且与以中性表情作为背景的 JACFEE微表情识别测验做比较, 验证生态化微表情是否确实与中性背景微表情有本质差异, 即测验具有效度。进一步可以操纵微表情和背景表情的唤醒程度, 得到强背景表情下强微表情、强背景下弱微表情、弱背景下强微表情和弱背景下弱微表情四种不同生态化微表情识别的标准测验和常模, 探索四者的特征。操纵微表情和背景表情的呈现时间, 则是根据中性背景微表情研究就可以很容易想到的扩展研究。

建立了各种生态化微表情识别标准测验, 下一步就可以采用它们作为前测和后测, 改进METT中性背景微表情训练为 EMETT (Ecological Micro Expression Trainning Tool)即生态化微表情识别训练。本研究团队正在开展这些研究工作, 初步证实了以上假设。

4.4.2 生态化微表情数据库的建立

由于已有数据库的微表情都是发生在中性表情背景下, 生态效度有所欠缺。因此可以改进这些数据库的范式, 在实验情境下生成生态化微表情, 并与大量的临床和政治视频中发现的真实生态化微表情作比较。在此基础上选择或者创建更接近真实生态化微表情的实验范式, 可控地产生大量生态化微表情, 建立生态化微表情数据库,为进一步探究其机制打下数据基础。

4.4.3 探索生态化微表情识别的影响因素如认知能力、人格和人生态度

Fellner等(2007)发现中性背景微表情识别能力与认知能力和人格开放性相关, 而与情绪智力无关; Matsumoto等(2000)发现中性背景微表情识别能力和人格外倾性、开放性相关。表明中性背景微表情识别能力更多的是认知能力和人格特征,而非情绪智力。但这或许是由于其微表情只是镶嵌在中性表情背景中, 不需要充分激活情绪智力,如果是镶嵌在各种表情背景中的生态化微表情识别, 可能就需要情绪智力了。因此可以探索生态化微表情识别能力与情绪智力的关系, 当然同时可以探索与认知能力、人格和人生态度的关系。

4.4.4 临床和社会应用

Liu, Huang, Wang, Gong和Chan (2012)研究显示, 抑郁患者容易把中性甚至正性表情误判为负性, 那么是否对微表情也有同样或者别样的误判倾向？可能微表情识别比表情识别更能够测量到抑郁程度。未来可开发适合测量抑郁程度的生态化微表情识别测验, 为诊断提供客观量化的指标。Russell等(2006)以及 Russell等(2008)采用METT训练精神分裂症患者, 都得到了良好的训练效果, 那么采用更具有生态效度的 EMETT生态化微表情训练(见4.1.1), 可能获得更好的疗效。

除了临床应用, 生态化微表情识别和 EMETT训练还可以应用到公共管理、政治、公安、刑侦审讯测谎、谈判、社交培训、情绪智力提高等各种社会领域, 由于其更具有生态效度, 具有广阔的应用前景。Chiu, Chou, Wu和Liaw (2014)首次把微表情应用到教育领域, 发现微表情的变化可以作为测量知识概念冲突的有效指标, 从而判断学生的学习程度和教学有效程度。因此生态化微表情识别还可以应用到教育领域。

梁静, 颜文靖, 吴奇, 申寻兵, 王甦菁, 傅小兰. (2013).微表情研究的进展与展望.中国科学基金, 37(2), 75–82.

申寻兵. (2012). 微表情识别的时间特性及加工机制研究(博士学位论文). 中国科学院研究生院, 北京.

吴奇, 申寻兵, 傅小兰. (2010). 微表情研究及其应用. 心理科学进展, 18(9), 1359–1368.

吴冉, 任衍具. (2011). 微表情的启动效应研究.应用心理学, 17(3), 241–248.

Bhushan, B. (2015). Study of facial micro-expressions in psychology. In M. K. Mandal & A. Awasthi (Eds.),Understanding facial expressions in communication(pp.265–286). India: Springer.

Bond, C. F., Jr., & DePaulo, B. M. (2006). Accuracy of deception judgments.Personality and Social Psychology Review, 10, 214–234.

Bradley, M. M., & Lang, P. J. (2000). Measuring emotion:Behavior, feeling, and physiology. In R. D. Lane & L.Nadel (Eds.),Cognitive neuroscience of emotion(pp.242–276). New York: Oxford University Press.

Buller, D. B., & Burgoon, J. K. (1996). Interpersonal deception theory.Communication Theory, 6, 203–242.

Carroll, J. M., & Russell, J. A. (1996). Do facial expressions signal specific emotions? Judging emotion from the face in context.Journal of Personality and Social Psychology,70, 205–218.

Carton, J. S., Kessler, E. A., & Pape, C. L. (1999). Nonverbal decoding skills and relationship well-being in adults.Journal of Nonverbal Behavior, 23, 91–100.

Castillo, P. A. (2015). The detection of deception in cross-cultural contexts. In M. K. Mandal & A. Awasthi(Eds.),Understanding facial expressions in communication(pp. 243–263). India: Springer.

Chiu, M. H., Chou, C. C., Wu, W. L., & Liaw, H. (2014). The role of facial microexpression state (FMES) change in the process of conceptual conflict.British Journal of Educational Technology, 45(3), 471–486.

DePaulo, B. M., Lindsay, J. J., Malone, B. E., Muhlenbruck,L., Charlton, K., & Cooper, H. (2003). Cues to deception.Psychological Bulletin, 129(1), 74–118.

Ekman, P. (2001a). Facial expression. In C. Blakemore & S.Jennett (Eds.),The oxford companion to the body. Oxford,UK: Oxford University Press.

Ekman, P. (2001b).Telling lies: Clues to deceit in the marketplace, politics, and marriage(3rd ed.). New York:W. W. Norton & Company.

Ekman, P. (2002).MicroExpression Training Tool (METT).Retrieved April 15, 2009, from http://www.paulekman.com.

Ekman, P. (2003). Darwin, deception, and facial expression.Annals of the New York Academy of Sciences, 1000, 205–221.

Ekman, P. (2009). Lie catching and microexpressions. In C.Martin (Ed.),The philosophy of deception(pp. 118–133).Oxford: Oxford University Press.

Ekman, P., & Friesen, W. V. (1969a). The repertoire of nonverbal behavior: Categories, origins, usage and coding.Semiotica, 1, 49–98.

Ekman, P., & Friesen, W. V. (1969b). Nonverbal leakage and clues to deception.Psychiatry, 32, 88–106.

Ekman, P., & Friesen, W. V. (1974). Detecting deception from the body or face.Journal of Personality and Social Psychology, 29(3), 288–298.

Ekman, P., & Friesen, W. V. (1975).Unmasking the face: A guide to recognizing emotions from facial clues.Englewood Cliffs, NJ: Prentice Hall.

Ekman, P., & Friesen, W. V. (1982). Felt, false, and miserable smiles.Journal of Nonverbal Behavior, 6, 238– 252.

Ekman, P., & O’Sullivan, M. (1991). Who can catch a liar.American Psychologist, 46, 913–920.

Ekman, P., & O’Sullivan, M. (2006). From flawed selfassessment to blatant whoppers: The utility of voluntary and involuntary behavior in detecting deception.Behavior Science and the Law, 24, 673–686.

Ekman, P., & Rosenberg, E. L. (2005).What the face reveals:Basic and applied studies of spontaneous expression using the facial action coding system.Oxford, UK: Oxford University Press.

Endres, J., & Laidlaw, A. (2009). Micro-expression recognition training in medical students: A pilot study.BMC Medical Education, 9, 47.

Fellner, A. N., Matthews, G., Funke, G. J., Emo, A. K.,PérezGonzález, J. C., Zeidner, M., & Roberts, R. D.(2007). The effects of emotional intelligence on visual search of emotional stimuli and emotion identification. In:Proceedings of the Human Factors and Ergonomics Society 51st Annual Meeting(pp. 845–849). Santa Monica,CA, USA: HEFS.

Frank, M. G., & Ekman, P. (1997). The ability to detect deceit generalizes across different types of high-stake lies.Journal of Personality and Social Psychology, 72, 1429–1439.

Frank, M. G., & Ekman, P. (2004). Appearing truthful generalizes across different deception situations.Journal of Personality and Social Psychology, 86, 486–495.

Frank, M. G., Herbasz, M., Sinuk, K., Keller, A., & Nolan, C.(2009). I see how you feel: Training laypeople and professionals to recognize fleeting emotions. In:The Annual Meeting of the International Communication Association,Sheraton New York, New York City, NY. Retrieved July 1, 2014, from http://www.allacademic.com/meta/p15018_index.html

Frank, M. G., & Hurley, C. M. (2014).Detecting deception and emotion in police officers.Manuscript in review.

Frank, M. G., Kim, D. J., Kang, S., Kurylo, A., & Matsumoto,D. (2014).Improving the ability to detect micro expressions in law enforcement officers.Manuscript in preparation.

Frank, M. G., Maccario, C. J., & Govindaraju, V. (2009).Behavior and security. In P. Seidenstat & F. X. Splane(Eds.),Protecting airline passengers in the age of terrorism(pp. 86–106).Santa Barbara, California: Praeger Security International.

Frank, M. G., Matsumoto, D., Ekman, P., Kang, S., & Kurylo,A. (2014).Improving the ability to recognize real time micro expressions of emotion. Manuscript under review.

Frank, M. G., & Svetieva, E. (2012). Lies worth catching involve both emotion and cognition.Journal of Applied Research in Memory and Cognition, 1, 131–133.

Frank, M. G., & Svetieva, E. (2013). The role of nonverbal behavior in detecting and telling lies. In M. L. Knapp & J.A. Hall (Eds.),Nonverbal communication(pp. 471–511).New York: Mouton de Gruyter.

Frank, M. G., & Svetieva, E. (2015). Microexpressions and deception. In Mandal & Awasthi (Eds.),Understanding facial expressions in communication(pp. 227–242). India:Springer.

Frank, M. G., Svetieva, E., Hurley, C. M., Kang, S., Sweet, D.,Pazian, M., & Ekman, P. (2014).Detecting lies in a counter terrorism situation: Body Language and Incongruity.Manuscript in preparation.

Frank, M. G., Yarbrough, J. D., & Ekman, P. (2006). Improving interpersonal evaluations: Combining science and practical experience. In T. Williamson (Ed.),Investigative interviewing:Rights, research, regulation(pp. 229–255). Portland, OR:Willan Publishing.

Hall, J. A., Andrzejewski, S. A., & Yopchick, J. E. (2009).Psychosocial correlates of interpersonal sensitivity: A meta-analysis.Journal of Nonverbal Behavior, 33, 149–180.

Hall, J. A., & Matsumoto, D. (2004). Gender differences in judgments of multiple emotions from facial expressions.Emotion, 4, 201–206.

Hietanen, J. K., & Astikainen, P. (2013). N170 response to facial expressions is modulated by the affective congruency between the emotional expression and preceding affective picture.Biological Psychology, 92, 114–124.

Hurley, C. M. (2012). Do you see what I see? Learning to detect micro expressions of emotion.Motivation and Emotion, 36, 371–381.

Hurley, C. M., Anker, A. E., Frank, M. G., Matsumoto, D., &Hwang, H. C. (2014). Background factors predicting accuracy and improvement in micro expression recognition.Motivation & Emotion, 38(5), 700–714.

Hurley, C. M., & Frank, M. G. (2011). Executing facial control during deception situations.Journal of Nonverbal Behavior, 35, 119–131.

Ihme, K., Lichev, V., Rosenberg, N., Sacher, J., Villringer, A.,Kersting, A., & Suslow, T. (2013). P 59. Which brain regions are involved in the correct detection of microexpressions?Preliminary results from a functional magnetic resonance imaging study.Clinical Neurophysiology, 124(10), e92–e93.

Keil, A., Moratti, S., Sabatinelli, D., Bradley, M. M., & Lang,P. J. (2005). Additive effects of emotional content and spatial selective attention on electrocortical facilitation.CerebralCortex, 15, 1187–1197.

Kilts, C. D., Egan, G., Gideon, D. A., Ely, T. D., & Hoffman,J. M. (2003). Dissociable neural pathways are involved in the recognition of emotion in static and dynamic facial expressions.NeuroImage, 18, 156–168.

Lang, P. J. (1995). The emotion probe: Studies of motivation and attention.American Psychologist, 50, 372–385.

Larsen, J. T., Norris, C. J., & Cacioppo, J. T. (2003). Effects of positive and negative affect on electromyographic activity overzygomaticus majorandcorrugator supercilii.Psychophysiology, 40, 776–785.

Liu, W. H., Huang, J., Wang, L. Z., Gong, Q. Y., & Chan, R.C. K. (2012). Facial perception bias in patients with major depression.Psychiatry Research, 197(3), 217–220.

Marsh, P. J., Green, M. J., Russell, T. A., McGuire, J., Harris,A., & Coltheart, M. (2010). Remediation of facial emotion recognition in Schizophrenia: Functional predictors,generalizability, and durability.American Journal of Psychiatric Rehabilitation, 13, 143–170.

Matsumoto, D., & Ekman, P. (1988). Japanese and Caucasian Facial Expressions of Emotion (JACFEE) and Neutral Faces (JACNeuF). Department of Psychiatry, University of California, San Francisco.

Matsumoto, D., & Hwang, H. S. (2011). Evidence for training the ability to read microexpressions of emotion.Motivation and Emotion, 35, 181–191.

Matsumoto, D., Hwang, H. C., Skinner, L. G., & Frank, M. G.(2014). Positive effects in detecting lies from training to recognize behavioral anomalies.Journal of Police and CriminalPsychology, 29, 28–35.

Matsumoto, D., Keltner, D., Shiota, M., Frank, M., &O’Sullivan, M. (2008). Facial expressions of emotions. In M. Lewis, J. M. Haviland-Jones, & L. Feldman-Barrett(Eds.),Handbook of emotions(3rd ed., pp. 211–234). New York: Guilford Press.

Matsumoto, D., LeRoux, J., Wilson-Cohn, C., Raroque, J.,Kooken, K., Ekman, P., … Goh, A. (2000). A new test to measure emotion recognition ability: Matsumoto and Ekman’s Japanese and Caucasian Brief Affect Recognition Test (JACBART).Journal of Nonverbal Behavior, 24,179–209.

Matsumoto, D., Nezlek, J. B., & Koopmann, B. (2007).Evidence for universality in phenomenological emotion response system coherence.Emotion, 7(1), 57–67.

Matsumoto, D., Yoo, S. H., & Fontaine, J. (2008). Mapping expressive differences around the world: The relationship between emotional display rules and individualism versus collectivism.Journal of Cross-Cultural Psychology, 39,55–74.

Meihlke, A. (1973).Surgery of the facial nerve. Philadelphia,PN: Saunders.

Memon, A. A., Vrij, A., & Bull, R. (2003).Psychology and law: Truthfulness, accuracy and credibility(2nd ed.). New York: Wiley.

Mill, A., Allik, J., Realo, A., & Valk, R. (2009). Age-related differences in emotion recognition ability: A crosssectional study.Emotion, 9, 619–630.

Mufson, L., & Nowicki, S., Jr. (1991). Factors affecting the accuracy of facial affect recognition.The Journal of Social Psychology, 131, 815–822.

Myers, R. E. (1976). Comparative neurology of vocalization and speech: Proof of a dichotomy.Annals of the New York Academy of Sciences, 280, 745–757.

O’Sullivan, M., Frank, M. G., Hurley, C. M., & Tiwana, J.(2009). Police lie detection accuracy: The effect of lie scenario.Law and Human Behavior, 33, 530–538.

Polikovsky, S., Kameda, Y., & Ohta, Y. (2009). Facial microexpressions recognition using high speed camera and 3D-gradient descriptor. In3rd International Conference on Crime Detection and Prevention.London: IEEE.

Porter, S., & ten Brinke, L. (2008). Reading between the lies:Identifying concealed and falsified emotions in universal facial expressions.Psychological Science, 19(5), 508–514.

Porter, S., ten Brinke, L., & Wallace, B. (2012). Secrets and lies: Involuntary leakage in deceptive facial expressions as a function of emotional intensity.Journal of Nonverbal Behavior, 36(1), 23–37.

Pourtois, G., Grandjean, D., Sander, D., & Vuilleumier, P. (2004).Electrophysiological correlates of rapid spatial orienting towards fearful faces.Cerebral Cortex, 14, 619– 633.

Righart, R., & de Gelder, B. (2008). Rapid influence of emotional scenes on encoding of facial expressions: An ERP study.Social Cognitive and Affective Neuroscience, 3,270–278.

Rothwell, J., Bandar, Z., O’Shea, J., & Mclean, D. (2006).Silent talker: A new computer-based system for the analysis of facial cues to deception.Applied Cognitive Psychology,20, 757–777.

Rubin, R. S., Munz, D. C., & Bommer, W. H. (2005).Leading from within: The effects of emotion recognition and personality on transformational leadership behavior.Academy of Management Journal, 48, 845–858.

Russell, T. A., Chu, E., & Phillips, M. L. (2006). A pilot study to investigate the effectiveness of emotion recognition remediation in schizophrenia using the micro-expression training tool.British Journal of Clinical Psychology, 45,579–583.

Russell, T. A., Green, M. J., Simpson, I., & Coltheart, M. (2008).Remediation of facial emotion perception in schizophrenia:Concomitant changes in visual attention.Schizophrenia Research, 103, 248–256.

Shen, X. B., Wu, Q., & Fu, X. L. (2012). Effects of the duration of expressions on the recognition of microexpressions.Journal of Zhejiang University- SCIENCE B, 13(3), 221–230.

Shreve, M., Godavarthy, S., Manohar, V., Goldgof, D., &Sarkar, S. (2009). Towards macro- and micro-expression spotting in video using strain patterns. In:IEEE Workshop on Applications of Computer Vision. Snowbird, UT: IEEE.

Spence, S. A., Farrow, T. F. D., Herford, A. E., Wilkinson, I.D., Zheng, Y., & Woodruff, P. W. R. (2001). Behavioural and functional anatomical correlates of deception in humans.Neuroreport:For Rapid Communication of Neuroscience Research,12(13), 2849–2853.

Sporer, S. L., & Schwandt, B. (2006). Paraverbal indicators of deception: A meta-analytic synthesis.Applied Cognitive Psychology, 20(4), 421–446.

Sporer, S. L., & Schwandt, B. (2007). Moderators of nonverbal indicators of deception: A meta-analytic synthesis.Psychology, Public Policy, and Law, 13(1), 1–34.

Sutin, A. R., Beason-Held, L. L., Resnick, S. M., & Costa, P.T. (2009). Sex differences in resting-state neural correlates of openness to experience among older adults.Cerebral Cortex, 19, 2797–2802.

Tanaka-Matsumi, J., Attivissimo, D., Nelson, S., & D’Urso, T.(1995). Context effects on the judgment of basic emotions in the face.Motivation and Emotion, 19, 139–155.

Vrij, A. (2008).Detecting lies and deceit: Pitfalls and opportunities(2nd ed.). Hoboken, NJ: Wiley.

Vrij, A., Edward, K., Roberts, K. P., & Bull, R. (2000).Detecting deceit via analysis of verbal and nonverbal behavior.Journal of Nonverbal Behavior, 24(4), 239–263.

Vrij, A., Mann, S. A., Fisher, R. P., Leal, S., Milne, R., &Bull, R. (2008). Increasing cognitive load to facilitate lie detection: The benefit of recalling an event in reverse order.Law and HumanBehavior, 32, 253–265.

Warren, G., Schertler, E., & Bull, P. (2009). Detecting deception from emotional and unemotional cues.Journal of Nonverbal Behavior, 33, 59–69.

Werheid, K., Alpay, G., Jentzsch, I., & Sommer, W. (2005).Priming emotional facial expressions as evidenced by event-related brain potentials.International Journal of Psychophysiology, 55, 209–219.

Williams, L. M., Liddell, B. J., Rathjen, J., Brown, K. J.,Gray, J., Phillips, M., … Gordon, E. (2004). Mapping the time course of nonconscious and conscious perception of fear: An integration of central and peripheral measures.Human Brain Mapping, 21, 64–74.

Wojciechowski, J. Stolarski, M., & Matthews, G. (2014).Emotional intelligence and mismatching expressive and verbal messages: A contribution to detection of deception.PLoS One, 9(3), e92570.

Yan, W. J., Li, X. B., Jang, S. J., Zhao, G. Y., Liu, Y. J., Chen,Y. H., & Fu, X. L. (2014). CASME II: An improved spontaneous micro-expression database and the baseline evaluation.PLoS One, 9, e86041.

Yan, W. J., Wu, Q., Liang, J., Chen, Y. H., & Fu, X. L. (2013).How fast are the leaked facial expressions: The duration of micro-expressions.Journal of Nonverbal Behavior, 37,217–230.

Yan, W. J., Wu, Q., Liu, Y. J., Wang, S. J., & Fu, X. L. (2013).CASME database: A dataset of spontaneous microexpressions collected from neutralized faces. In10th IEEE international conference and workshops on automatic face and gesture recognition (FG 2013). Shanghai, China:IEEE.

Zhang, M., Fu, Q. F., Chen, Y. H., & Fu, X. L. (2014).Emotional context influences micro-expression recognition.PLoS One, 9(4), e95018.

Zuckerman, M., DePaulo, B. M., & Rosenthal, R. (1981).Verbal and nonverbal communication of deception. In L.Berkowitz (Ed.),Advances in experimental social psychology(Vol. 14, pp. 1–59). New York: Elsevier.