司淑狄，罗 倩，郭亚男，杜康宁，曹 林

(1.北京信息科技大学 信息与通信工程学院，北京 100101；2.北京信息科技大学 光电测试技术及仪器教育部重点实验室，北京 100101)

0 引言

素描人脸合成技术可以将光学照片转化为素描肖像，减少了素描与照片之间的模态差异，增加了素描人脸数据库数量，在刑侦、数字媒体等领域具有重要的应用价值。素描人脸合成技术属于图像风格迁移领域。基于卷积神经网络(convolutional neural networks,CNN)的风格迁移作为图像转换技术的先驱，对后续技术发展具有深远影响。Gatys等[1]使用CNN实现图像风格迁移，有效解决了内容和风格相匹配的问题，但对于细节特征丰富的图像，转换效果并不理想。Li等[2]提出基于马尔科夫随机场和卷积神经网络的图像合成技术，然而，模型结构中的局部图像块匹配使得该方法仅在样式和内容图像包含相似局部特征的元素时才能正常工作。Johnson等[3]从训练好的神经网络中提取高级图像特征，优化感知损失，代替先前的逐像素损失。

近年来，生成对抗网络(generative adversarial network,GAN)在解决许多图像合成问题方面取得了很大进展[4-6]。由于成对数据集有限，使用深度学习进行无监督的图像到图像转换的技术日益更新。SinGAN[7]和TuiGAN[8]采用金字塔结构模型来学习不同尺度图像的分布,训练阶段只需要一对目标图像即可；但是该方法生成的图像存在细节缺失的现象。UNIT[9]、MUNIT[10]、DRIT++[11]均提出共享潜在“内容空间”的内容编码器结构，实现了多域融合，提高了生成图像的质量；但是内容空间的共享，容易导致生成的图像含有风格图片中的内容，内容特征细节不匹配。……