李乐阳,佟国香,赵迎志,罗 琦

(上海理工大学 光电信息与计算机工程学院,上海 200093)

随着深度学习的发展,机器已经可以模仿人类根据文本描述将内容视觉化,达到信息共享和理解的效果。图像生成技术在人工智能领域具有广泛应用,例如图像修复[1]、图像到图像的转换[2]、风格转换[3]、超分辨率图像生成[4]、数据增强[5]以及表征学习[6]等。

文本生成图像可以视作是图像字幕生成的反向工作,主要包括3个任务:1)将文本中蕴含的信息提取出来;2)根据所提取的信息生成图像;3)图像真实性测试和文本-图像语义一致性匹配。在早期研究中,文本生成图像主要依赖搜索方法和监督学习的结合[7]。该方法从一般且不受限制的文本中生成图像,首先识别具有信息且“可描绘” 的文本单元,再搜索最可能出现的图像区域,从而以文本和图像区域为条件优化图像布局。然而,这种传统的图像生成方法缺乏多样性,只能通过改变给定的文本重新得到图像特征,生成图像的质量也难以保证。随着深度学习的发展,基于生成模型的图像生成技术逐渐成熟,变分自编码器(Variational Auto-Encoder, VAE)方法[8]和深度卷积注意力机制模型[9]得到了广泛关注。

基于生成模型的图像生成技术受到有限属性的限制,生成的图像大多模糊且未有效地表达文本信息,更不具备创造复杂图像的能力。文献[10]提出了生成对抗网络(Generative Adversarial Networks, GAN),GAN由两个神经网络组成:生成器和鉴别器,这两个网络通过对抗的方式进行学习。由于GAN的对抗训练思想适用于文本生成图像任务,较多相关的研究相继产生。……