APP下载

维塔数字智能面部动画系统在电影《阿凡达:水之道》得到成功应用

2023-05-29张雪

现代电影技术 2023年5期
关键词:动画师维塔下巴

近年来多部影片使用面部动作编码系统(Facial Action Coding System,FACS)采集演员各种不同表情,形成表情库,并在片场与演员的面部表情数据匹配后,形成逼真的数字演员。在2019年制作完成《阿丽塔:战斗天使》后,制作公司维塔数字(Weta Digital)认为FACS 系统存在诸多问题,如面部肌肉分离、覆盖、大规模冗余等。例如,当FACS 映射一个面部表情时,为了获得足够真实可信的效果,FACS可能会绑定多达900个FACS 形状。这是因为,FACS 不是一个基于动态时间和对话动作的面部动画系统,而仅仅是情感表达,只能从外部模拟一张脸,缺乏姿势过渡信息。

图1 APFS面部动画系统

对此,维塔数字研发团队决定重新处理整个面部制作系统。团队开始从解剖学角度研究人脸肌肉,重点关注肌肉如何分布、彼此如何连接。团队发现,做一个表情会激活一块肌肉,而其他肌肉也被串联激活,或被动拉动。由于肌肉的相互连接方式类似于神经网络,于是开发团队决定构建一个直接基于肌肉的人工神经网络(Artificial Neural Network, ANN)系统,让动画师能够直接控制脸部的每一块肌肉,实现下巴、眼睛和肌肉的任意组合运动。

维塔数字新开发的面部动画系统名为符合解剖学的面部系统(Anatomically Plausible Facial System,APFS),其基于肌肉纤维曲线作为解剖基础,是一个以动画师为中心、以解剖学为灵感的面部建模、动画和重定位传输系统。APFS 基于178 条肌肉纤维曲线实现,这些曲线可以收缩或松弛,以提供细粒度的高保真面部表情。该系统既可由内向外实现,面部由肌肉纤维曲线驱动,也可由外向内,通过动画师拖拽和移动面部来实现。该系统已成功应用于电影《阿凡达:水之道》中。

1 面部重点区域:眼睑、下巴与眼睛

APFS 系统中,每条肌肉曲线都有一个关联的应变值。肌肉曲线并没有真正扭曲,但应变值在其局部空间中提供了沿曲线的收缩或扩张。从某种意义上说,它是长度变化的百分比,每个应变值独立发挥作用。例如眨眼这一动作,涉及沿睫毛线的水平、垂直、上下以及眼睛周围的肌肉曲线。这种情况下,水平曲线的实际应变值变化不大,因为它在眼球上方旋转,而垂直曲线的应变值变化很大,更重要的是,垂直曲线沿着肌肉曲线的形状缩放,与眼球的曲线相匹配。

因为对面部状态的主要控制是下巴,尤其是在对话中,下颚不断移动,是面部状态的主要驱动力,因此在APFS 系统中下巴和嘴唇尤为重要。开发团队注意到,所有人的下颚只能以盾牌的轨迹形状移动,下颌骨或下颚骨通过颞下颌关节与颅骨相连,并由韧带和肌肉固定。因此,可通过追踪颌上的一组概念点来映射颌的运动范围,当系统将一组这样的点映射到一个人所有可能的表情上时,就会得到一个盾牌形状,被称为盾牌。然后对演员进行数字头骨拟合,再计算出下颌的运动范围,最后使用立体头戴装置(HMC)进行求解以提取深度信息。

此系统的眼睛模型与演员的巩膜、角膜和虹膜相匹配。通过旋转眼球在每一帧中调整眼睛注视方向,使虹膜模型与角膜缘环和瞳孔对齐。由于眼睛晶状体及其显示的折射光线很难通过系统模拟,所以会使用多个相机角度来验证对准,确定角膜折射的光,以增强角色眼睛的真实感。

2 传输姿势库

动画师习惯于使用姿势库,但姿势库不会对运动进行编码,组合使用很容易脱离模型。对此,维塔团队为动画师构建了基于应变值的动作库,结合使用一个自动编码器,保证应变向量保持在合理的面部动画边界内,这种由外到内的方法提供了曲线的反向映射,可直观进行拉伸和收缩肌肉。

3 电影《阿凡达:水之道》中的定制化设计与应用

在电影《阿凡达:水之道》中,许多演员都需要在水中进行表演捕捉,但他们的大部分面部动画则需要在陆地上进行二次捕捉,然后与水下表演捕捉相融合。

在进行水下面部表情捕捉时,演员们需佩戴一个HMC,维塔团队开发了一种名为Deep Shape 的可视化工具,用于提供可从任何角度观看的演员实际表演的3D点云重建。该技术相当于动画师在演员面前架设一个虚拟摄影机,不会出现广角失真,可准确查看嘴唇和下巴的延伸,为比较和判断APFS 仿真提供了面部真实性的关键参考。

为了最大程度实现演员与角色面部的匹配,维塔数字专门设计了角色模型训练过程,利用人工智能深度学习模型与算法,以学习演员的潜在肌肉行为。该系统使用用户定义的权重图精准映射皮肤,分别处理眼睛和下巴区域,以便更准确地传递面部关键部位的表情。这一过程中,考虑到纳威人独特的外形,还需将演员的下颌绑定与角色匹配,用来弥补牙齿和头骨解剖的偏差。

曲线肌肉系统具有一组向下延伸到颈部区域的曲线,这样可以与身体表演捕捉更好地结合。但耳朵的动画独立于这一系统,因为人类耳朵本身并不驱动任何面部肌肉,但对于纳威人来说,他们的耳朵有着丰富的表现力,无法在人类身上表现,所以耳朵部分由一个单独系统来控制。

猜你喜欢

动画师维塔下巴
阿维塔11
长 度
维塔斯开枪打鸟获罪
为什么人类有下巴?
简析动画运动特性美
浅析角色动画和表演之间的关系
月入30万,婚礼动画师石秀大赚浪漫财富
卖报姑娘
8
维塔斯丢了神秘感