李文惠，曾上游，王金金

（广西师范大学电子工程学院，广西桂林 541004）

（*通信作者电子邮箱zsy@mailbox.gxnu.edu.cn）

0 引言

图像描述是将图像用自然语言句子表达出来，它是计算机视觉的主要研究任务之一。图像描述对于计算机而言不仅需要识别图像中的对象，而且还要理解图像中的内容以及对象之间存在的关系，最后计算机还要用自然语言句子去将图像内容正确地表达出来，因此图像描述任务对于计算机视觉领域的研究来说还是存在一定的难度。目前图像描述存在的问题主要包括图像分类问题和自然语言处理问题。针对图像分类问题，卷积神经网络（Convolutional Neural Network，CNN）通过自动提取图像特征，使图像分类的准确率达到甚至超过了人类肉眼对图像分类识别的标准；针对自然语言处理问题，循环神经网络（Recurrent Neural Network，RNN）通过记住句子中词的相对关系，去处理自然语言句子。然而对于上述两者问题的结合而言，虽然目前存在相关网络能够在一定程度上简单地描述图像，但没有在各自领域研究得那么深入。实现图像描述的方法主要分三种：基于模板的图像描述生成方法、基于检索的图像描述生成方法和基于深度学习的图像描述生成方法。近年来，图像描述主流方法是深度学习。深度学习模型的训练方式是端到端，其优点是它可以自己学习特征，避免了人为地去设计参数。对于图像描述生成模型，整体大致分为两个部分：编码（ENCODER）和解码（DECODER）［1］。在图像编码中，通过多层深度卷积神经网络［2-4］针对图像中的物体特征建立起模型；……