熊伟

摘  要： 为使动画虚拟人物表情动作更逼真，设计基于三维动画的虚拟人物表情动作系统。利用系统硬件模块完成图像数据及人体骨骼数据的采集、处理，以及人体骨骼点定位、关节点与Kinect骨骼点映射关系构建、虚拟人物模型的搭建。在此基础上，通过面部特征点映射完成特征点的对应，并通过对齐视频人脸与三维动画虚拟人脸，完成人脸模型对齐;采用拉普拉斯坐标恢复模型重建人脸表情动作，完成三维动画虚拟人物表情动作的模拟，实现基于三维动画的虚拟人物表情动作系统设计。实验结果表明，所设计的系统可有效模拟人物图像中人脸的表情动作，并将其融入三维动画中，使虚拟人物更为生动形象;经系统Unity3D平台的渲染和皮肤纹理处理后，增强虚拟人物真实性。

关键词： 虚拟人物; 表情动作模拟; 系统设计; 三维动画; 特征点对齐; 数据采集

中图分类号： TN911.73?34; TP212.14             文献标识码： A                    文章编号： 1004?373X（2020）20?0097?05

Design of 3D animation based expression and action system for virtual character

XIONG Wei

（College of Information Technology， Guilin University of Electronic Technology， Guilin 541004， China）

Abstract： A 3D animation based expression and action system for virtual character is designed to make the expression and action of animated virtual character more reality. The system hardware module is used to complete the collection and processing of image data and human bone data， as well as the positioning of human bone points， the establishment of the mapping relationship between joint points and Kinect bone points， and the construction of virtual character model. On this basis， the correspondence of feature points is completed by the mapping of facial feature points， and the alignment of face model is completed by aligning the face in video with the virtual face in 3D animation. The Lapras coordinate recovery model is used to reconstruct the facial expression and action， and complete the simulation of the expression and action of the virtual character in 3D animation， so as to realize the design of the 3D animation based expression and action system for virtual character. The experimental results show that the designed system can effectively simulate the facial expression and action in the person image， and integrate them into the 3D animation to make the virtual character more vivid. After rendering and skin texture processing of the system′s Unity3D platform， the authenticity of the virtual character is enhanced.

Keywords： virtual character; expression and action simulation; system design; 3D animation; feature point alignment; data acquisition

隨着时代进步，我国计算机技术的不断发展，虚拟现实技术得到广泛的应用。虚拟现实技术的表达方式主要通过视觉、听觉等途径展现立体、逼真的画面，且虚拟现实技术具有交互性、自主性等优势，被广泛应用于室内设计和三维动画设计等领域[1?3]。随着日本动漫的引入，在国内三维动画方面引起了新浪潮，我国三维动画业也随之发展壮大，为了满足观众对三维动画虚拟人物视觉感官的高要求，三维动画业也在不断提高动画虚拟人物的逼真度。人脸是人们表达感情的关键部位，在人类交流中，都要通过人的脸部表情动作观察人的喜怒哀乐。近年来人脸表情成为三维动画虚拟人物研究的重点问题[4]。

三维动画虚拟人脸模型五官及脸部轮廓需要通过变形实现，但关于初始帧人脸表情动作的恢复，就需要通过人脸表情动作重建完成[15]。这里采用拉普拉斯坐标恢复模型完成人脸表情动作重建，但微分坐标平移不变性会导致拉普拉斯坐标几何无法通过反向计算获取笛卡尔坐标，因此需将矩阵坐标变换矩阵[M]和[M′]看成是奇异矩阵，并通过权重[pij]表示拉普拉斯算子，并获取新顶点[v'ij]，促使向量k变换网格，从新顶点的拉普拉斯算子中获取[M]矩阵的秩为[rankM=n-u]，[u]代表网格数量。则笛卡尔坐标公式可表达为：[R′Mv′i=jeNipijv′i-v′j                   =jeNipijvi+k-vj+k                   =jeNipijvi-vj                   =Mvi] （4）

但三维动画虚拟人脸模型具有一定的复杂性，需设置多个顶点坐标使人脸模型更为逼真，为了得到人脸模型笛卡尔坐标的唯一解，设置一个具有连通性能的三维动画虚拟人脸模型O，且设置网格顶点编号以及索引值约束几何[F1，2，…，u]，且[vj∈fj，j∈F]，则笛卡尔坐标唯一解约束条件可用线性方程表达为：

[MpIu×u0x=αxpc1u] （5）

式中，[I]代表单位矩阵。位置约束点通常通过最小二乘法完成，假设[M=MpIu×u0x]时，可求得未知数公式为：

[x=argminxMx-αx2+jeNiv2xi-cj2] （6）

假设权重P为1，因此每个顶点的约束因子一致，权重的改变不会造成动画效果改变，通过最小二乘法获取线性方程的唯一解。最小二乘法假设[S]矩陣为[（n+u）×u]，用公式描述该矩阵：

[x=MTM-1MTg] （7）

式中，[g=β，ωc1，…，ωcmT]。则将式（7）经过整合可得线性方程为：

[MTMx=MTβ] （8）

可将矩阵[M]看成稀缺矩阵，因为[S=MTM]，因此对[S]矩阵完成分解后可得公式为：

[S=RTR] （9）

由此公式可知将[S]矩阵分解后可得到[R]矩阵，在分解过程中，得到网络模型中未知分量[x]，[y]和[z]的值，因此其公式可表达为：

[RTδ=Mαx，Rx=δ] （10）

因此在整个人脸表情动作重建过程中，将复杂的运算简单化，采用最小二乘法将拉普拉斯坐标分布在三维动画虚拟人脸模型中，避免局部失真问题，且在笛卡尔坐标计算时设置了多个约束条件，这些约束条件会增强三维动画虚拟人脸模型的真实度。

2  实验分析

以某市科技有限公司提供的人物表情动作图像库为实验对象，该图像库中的图像为2 000人拍摄的10 000张人物表情动作图像，随机在该图像库中选取多组脸部表情动作图像。

2.1  三维动画虚拟人物表情动作模拟分析

采用本文设计的系统，对该图像完成三维动画虚拟人物表情动作模拟，模拟结果如图4所示。

由图4可知，a），c），e）图像均为选取的人物图像;b），d），f）图像均为表情动作模拟图像。通过本文系统可有效地模拟人物图像中人脸的表情动作，并将模拟的表情动作融入三维动画中，完成虚拟人物的表情动作添加，使虚拟人物更加生动逼真。

2.2  模拟性能对比

为了验证本文系统的实用性，采用实时动作捕捉技术系统、2D动画表情动作系统以及本文系统分别对图像库中相对应的几组图像完成表情动作模拟，将模拟结果相对比，如图5～图7所示。

由图5可知，虽然针对于头部的刚性运动，实时动作捕捉技术系统可以很好的模拟，但是脸部表情没有有效地模拟出来。由图6可知，2D动画表情动作系统基本完成了人脸表情动作的模拟，但由于没有在Unity3D平台中完成纹理和背景的修饰，导致虚拟人物不够逼真。由图7可明显看出，本文系统所模拟的三维动画虚拟人物表情动作要比另外两种系统模拟的效果好，不仅有效地将人脸部的表情变化表达出来，而且通过Unity3D平台的渲染和皮肤纹理的处理，使虚拟人物更加具有真实感。

三种系统的表情动作模拟度和皮肤纹理模拟逼真度结果如表1所示。

由表1可知，本文系统不仅在表情动作方面模拟效果好，且通过本文系统对虚拟人物模型进行皮肤纹理的处理，有助于三维动画虚拟人物表情动作更好的表达，且更加逼真。

3  结  论

针对传统的基于进化计算的三维动漫人物设计系统存在表情僵硬、行动不灵活的缺点，本文设计基于三维动画的虚拟人物表情动作系统。该系统不仅可利用Maya软件进行人物建模，而且在人物建模过程中运用了软件中的动画模块、动力学工具以及渲染工具等，对三维动画环境进行渲染，使其更加逼真;同时还可模拟人脸图像中的表情动作，将模拟的人脸表情动作在人脸模型中重建，使三维动画虚拟人物的表情动作更为多样化，且效果更为真实。

参考文献

[1] 谢平，刘欢，王磊磊，等.基于脑肌电反馈的虚拟康复训练系统设计[J].仪器仪表学报，2018，39（1）：250?257.

[2] 叶凤华，叶欢.基于FLASH和3D动画渲染技术的育苗机器人设计[J].农机化研究，2018，40（3）：189?192.

[3] 王钱庆，张惊雷.基于三维形变模型的人脸姿势表情校正[J].计算机科学，2019，46（6）：263?269.

[4] 宰守香，王蕾，申俊.基于VC++与Open Inventor的工业机器人切割仿真系统设计[J].制造技术与机床，2017（10）：151?155.

[5] 姚世明，李维浩，李蔚清，等.面向虚拟化身的人脸表情模拟技术[J].图学学报，2019，40（3）：525?531.

[6] 刘涛，周先春，严锡君.基于光流特征与高斯LDA的面部表情识别算法[J].计算机科学，2018，45（10）：286?290.

[7] 郭蓓，达飞鹏.基于局部特征的表情不变3维人脸识别算法[J].计算机辅助设计与图形学学报，2019，31（7）：1086?1094.

[8] 谷学静，张凯峰，郭宇承，等.基于Unity3D的ASD儿童认知教育系统设计与实现[J].系统仿真学报，2019，31（5）：893?900.

[9] 吕屏，杨鹏飞，李旭.基于VR技术的虚拟博物馆交互设计[J].包装工程，2017，38（24）：137?141.

[10] 高风瞩，李娟莉，谢嘉成.基于Unity3D的综采工作面全景虚拟现实漫游系统设计[J].矿业研究与开发，2017，37（12）：68?72.

[11] 胡珉，刘妼雯.基于VR的隧道火灾疏散指挥训练系统[J].中国安全科学学报，2018，28（5）：185?190.

[12] 李春兰，高阁，张亚飞，等.基于局部均值分解（LMD）的单通道触电信号盲源分离算法[J].农业工程学报，2019，35（12）：200?208.

[13] 桑高丽，闫超，朱蓉.基于多区域融合的表情鲁棒三维人脸识别算法[J].计算机应用，2019，39（6）：1685?1689.

[14] 郑源，李丽，孟志伟.大中型泵站机组三维检修仿真培训系统开发[J].排灌机械工程学报，2018，36（7）：587?592.

[15] 李辉，罗敏，邓国民.基于Web3D的畜牧兽医专业虚拟实训教学平台的建设[J].黑龙江畜牧兽医，2017（6）：207?209.