于泗泓，于 洋，王尔博，王存睿

(大连民族大学 计算机科学与工程学院，辽宁 大连 116650)

人脸融合技术在诸多领域具有广泛的应用，其中具有代表性的技术有DeepFake、FaceSwaps等。以生成对抗网络(GAN)为代表的方法已成为最常使用的技术之一[1]。人脸融合技术在生活中的使用度逐渐提高，目前虽然计算机识别图像已经在多个标准数据集中呈现稳定的状态，但真实应用场景中，仍然存在着大量非标准的人脸姿势，如图1。当遇到侧面图像时无法完美的融合到源图像中。

目前解决不同姿势识别问题的主流方法有以下两类：一类采用手绘(hand-crafted)或学习不同姿态的特征[2]，在不变和可识别之间做出权衡，往往无法有效处理大角度的姿势;另一类则是通过将二维图像模型与有确切身份的三维图像模型进行对齐[3]，使用LBP来考虑局部变化并利用三维几何变换渲染正面人脸图像。但是这种方法遇到大量差异较大的姿态图像时，纹理细节损失严重，性能也不尽如人意。在本文中解释了如何利用人脸五官的对称性来生成正面人脸图像及如何通过五官迁移将侧面人脸图像完美的融合到源图像中。

图1 侧面人脸图像融合效果

1 改进人脸融合算法过程

文中提出了一种基于区域变换的人脸融合改进算法，首先利用人脸图像关键点检测技术判断输入的人脸图像是否为正面图像，若输入的图像是侧面图像则将其通过TP-GAN[4](Two-Pathway Generative Adversarial Network)网络进行正侧面角度转换。随后将输出的正面面部图像归一化，旨在解决面部尺度变化和面部旋转的问题，接着通过人脸区域选取对其进行仿射变换、区域替换和肤色矫正，最后生成融合后的正面人脸图像。……