崔雨涵，刘 琼，张世卓

(北京信息科技大学 自动化学院，北京 100192)

0 引言

图像描述生成的目标是将视觉信息转化为文字或某种语言的单词序列，属于多模态学习的典型问题，可应用于图像检索[1]、图文自动转换等领域，帮助视障人士还原视觉信息等，有效推动社会和谐与智能化的发展。

随着深度学习技术的发展和公开数据集的发布，图像描述算法发展迅速，研究者们在一定程度上解决了传统方法中的一些弊端，如生成句子结构单一、语义不足和理解偏差等等。目前主流的模型是端到端的训练方法。Wu等[2]借鉴机器翻译任务中的“编码器-解码器”思想将其引入图像描述生成任务中，首先采用多层深度卷积神经网络对图像进行建模，把图像的特征信息编码，然后将循环神经网络(recurrent neural networks，RNN)作为解码器，将文本信息与图像信息映射在一个循环神经网络中，输出描述句子。此外，Aneja等[3]用卷积神经网络作解码器，缓解RNN的梯度消失问题。

高质量的图像描述语句需要满足：语句通顺，符合人类表述习惯；描述准确，能真实地反映图像内容；描述细致，能完整地反映图像中的重要信息。要得到高质量的图像描述语句，关键之处在于让图像特征可以表示更多的图像信息，通过捕捉图像中所要描述的对象及其属性特征，并与自然语言相对应，减小图像信息和文本信息之间的异构鸿沟。最常见的方法是利用注意力机制模拟人类观察、理解图像的过程，提升图像特征的描述能力。……