汪鸿浩，张俊然

(四川大学 电气工程学院，四川 成都 610065)

0 引 言

异质人脸合成，即在不同模态之间进行面部图片的相互转换，如照片-素描转换、近红外(NIR)-可见光(VIS)转换、3D-2D之间的转换、高-低分辨率之间的转换[1]；其中，照片-素描模态图片之间的转换则是最常见的一种转换形式。但是由于照片和素描模态之间各自特点的不同[2]，使得素描-照片之间的转换仍是一个具有挑战性的问题。

早期的人脸与素描间匹配研究主要集中在两者之间的直接匹配[3]，为实现这一目的，通常会在直接匹配之前使用人脸合成技术[4]，因为人脸合成技术有助于在转化时更好捕捉面部特征，对人面部轮廓进行填充、细化，使细节更加突出，从而有助于减小匹配误差。但是由于照片和素描之间几何和纹理的差异[5]，导致在两种模态之间进行直接匹配的方法不切实际。

Goodfellow等提出生成对抗网络(consistent adversa-rial networks，GAN)[6]，并成功将其运用到图像生成领域后，研究人员便不断尝试将这类算法应用到图像生成领域，而异质人脸合成本质上也属于图像之间的转换问题[7]。

因此针对异质人脸的合成问题，在基于深度学习框架下，利用生成对抗网络来学习一种多层非线性网络结构，其优势在于：①对人脸数据集的要求更低，不需要成对的数据集，能够适应多种风格的转换；②相较以往的浅层机器学习的方法，能够实现复杂函数的逼近[8]，可以从更少数的样本中提取到数据的本质特征，提高合成质量。

鉴于此，本文使……