周自维，王朝阳，徐 亮

（辽宁科技大学 电子信息工程学院，辽宁 鞍山114000）

1 引言

图像理解（Image Captioning）问题是计算机视觉领域研究中的核心和热点问题，其目的是通过一幅图像来生成描述该幅图像内容的一句话，即图像转换语言的问题。人在看到一幅图像后，可以很好地用语言描述出该图像中表达出的含义，但是让计算机达到类似的效果却面临诸多问题。因为图像理解需要考虑多方面的因素，包括如何利用图像的特征信息、如何将理解的知识转换成一段文字描述以及如何将这些过程转换成逻辑代码，对于传统的计算机算法而言，实现这项工作的难度巨大。

早期的图像理解方法例如文献［1］、文献［2］等是先通过图像处理和SVM分类结合的方式提取图像中存在的目标信息，然后再推断出前一阶段提取出的目标物信息和属性，并利用CRF或其他自定义的规则生成关于图像的一段描述。上述方式生成句子描述时过于依赖规则，因此文献［3］和文献［4］提出先用卷积神经网络作为编码端提取图像特征，再用循环神经网络作为解码端，结合图像特征生成图像描述。随着深度神经网络的应用，该问题的解决效果越来越好，因此目前普遍使用深度神经网络算法解决该问题。

文献［3］中采用的算法是典型的编码器-解码器［5］结构，该结构首先使用性能良好的CNN作为编码器获取图像的特征信息，然后使用循环神经网络作为解码器最终生成该图像的一段描述。但是在该论文的网络结构中，图像信息的利用不够充分，因为它只是在解码阶段的最初始时刻传递了图像的特征，随着解码步骤时间序列的不断增长，图像特征会逐渐丢失，最终导致生成的图像描述语句不够准确。……