李 坤，周世斌，朱佳明，张国鹏

(中国矿业大学 计算机科学与技术学院，江苏 徐州221116)

1 引 言

图像描述技术结合计算机视觉和自然语言处理来生成描述图像的句子.这项技术可以使用句子搜索图片，并且能帮助视障人士认识世界.与机器翻译相似，图像描述的基础架构是基于深度神经网络的Encoder-Decoder架构.编码器一般使用卷积神经网络(Convolutional Neural Network，CNN)提取图像的全局特征或使用自下而上注意力网络[1]提取图像的区域特征，解码器一般使用循环神经网络(Recurrent Neural Network，RNN)生成描述图像的句子.首先Vinyals等人[2]提出了端到端的Encoder-Decoder架构，而后Xu等人[3]提出了注意力机制，能在每个时间步确定需要关注的图像区域，从而生成对应的单词.Anderson等人[1]用区域特征代替CNN提取的全局特征，随后使用双长短时记忆网络(Long-short term memory，LSTM)[4]结构来生成描述图像的句子.此后还有一些在图像特征[5，6]、句子结构[7，8]、单词词性[9]、图像主题[10]和特殊场景[11]上的研究，但仍有几点不足：1)在解码器生成单词时仅考虑使用上一时刻的信息来预测当前时刻的输出，输入信息的时间维度单一；2)解码器部分仅使用单个LSTM得到的单个输出来预测序列，输出的结构单一.针对以上需要解决的问题，本文提出多时间维度信息融合(Information Fusion in Multiple Time Dimensions，IFMTD)模型，考虑到图像描述技术的实现应当符合人类的习惯，在生成当前时刻的单词时使用多个时间维度的信息，即过去、现在和未来的信息.本文将Anderson等人提出的top-down注意力模型[1]扩展为模型的两种独立结构，一是使用过去和现在时刻的语义信息作为解码器的输入的横向多时间维度信息融合(Horizontal Information Fusion in Multiple Time Dimensions，IFMTD-H)模型；……