胡 涛 ，李金龙

(1.中国科学技术太学 太数据学院，安徽 合肥 230026；2.中国科学技术太学 计算机科学与技术学院，安徽 合肥 230026)

0 引言

生成以给定文本描述为条件的高分辨率逼真的图像，已成为计算机视觉(CV)和自然语言处理(NLP)中具有挑战性的任务。 该课题具有各种潜在的应用，例如艺术创作、照片编辑和视频游戏。

最近，由于生成对抗网络(GANs)[1]在生成图像中已经取得了很好的效果，REEDS 在 2016 年首次提出通过条件生成对抗网络(cGANs)[2]从文字描述中生成合理的图像[3]；ZHANG H 在 2017 年通过堆叠多个生成器和判别器提出 StackGAN++[4]模型，首次生成256×256 分辨率图像。 当前， 几乎所有文本生成图像模型都是基于StackGAN，这些模型有多对生成器和判别器，通过将文本嵌入和随机噪声输入第一个生成器生成初始图像，在后续的生成器中对初始图像进行细化最终生成高分辨率图像。 例如，AttnGAN[5]在每个生成器中引入了跨模态注意力机制，以帮助生成器更详细地合成图像；MirrorGAN[6]从生成的图像中重新生成文本描述，以实现文本-图像语义一致性；DM-GAN[7]引入了动态记忆网络[8]来解决堆叠结构训练不稳定的问题。

尽管堆叠式生成对抗网络应用于文本生成图像取得了良好的效果，但仍然存在两个无法解决的问题：首先，训练多个网络会增加计算时间和影响生成模型的稳定性；并且，如果前一阶段的生成器没有收敛到全局最优值，则最终的生成网络将无法改善，因为最终的生成器梯度将难以回传。其次，该框架在生成第一阶段的初始图像过程中，生成器网络仅由上采样层和卷积层组成，缺乏使用输入自然语言文本进行图像集成和细化的过程，使得生成的初始图像质量差，最终生成的图像缺乏细粒度信息。……