余海波,陈金广

1(西安工程大学 计算机科学学院,西安 710600)

2(河南省电子商务大数据处理与分析重点实验室,洛阳 471934)

图像描述涉及了计算机视觉和自然语言处理两部分的内容,它是利用模型把一张图片转化成与之对应的自然语言描述.图像描述在多个领域都具有重要的作用,例如导盲、自动生成图片标签等,这不仅方便了人们的生活,也为大数据时代随之而来的海量图片标注减少了大量的人力.

图像描述生成[1]主要经历了3 个发展阶段:基于模板的图像描述生成[2-4],该方法通过检测得到物体及物体属性之间的关系,之后将单词填入固定的句子模板,但该模型过于死板;基于检索的图像描述生成[5],该方法先检索与当前图像相似的图像作为模板,在检索图像关系前需要调整,这个步骤增加了算法的复杂度;基于深度学习的图像描述生成[6,7],通过构建编码器-解码器框架,采用端到端的方法对模型进行训练.相对前两种方法,后者在图像描述的准确性上有较大的提升.Vinyals 等提出NIC (Neural Image Caption)模型[8],其思路来源于机器翻译通过最大化源语言S转化成目标语言T的概率p(T/S),将第一个循环神经网络(Recurrent Neural Networks,RNN)替换成卷积神经网络(Convolutional Neural Networks,CNN)[9],用于提取图片的特征.Xu 等[10]在NIC 模型的基础上引入注意力机制,提取图片的重要信息,提升了模型的准确率.大多数的视觉注意力机制只建模空间注意力机制(spatial attention).Chen 等提出了SCA-CNN 模型[11],该模型同时建模空间注意力机制和通道注意力机制(channel-wise attention),较大的提升了……