蔡晓龙

(青岛理工大学计算机工程学院，山东青岛266033)

深度学习在图像描述中的应用

蔡晓龙

(青岛理工大学计算机工程学院，山东青岛266033)

卷积神经网络在图像识别处理方面有着优秀的表现，但是只能处理单个输入，无法在多个输入之间建立联系。循环神经网络则在处理前后相关的序列信息上有着独特的优势。将两种神经网络算法联系起来，可以用于实现图像的语言序列描述，具体方法为：首先用卷积神经网络将图片的特征提取，后连接到LSTM模型，与输入的语言序列共同训练网络达到描述图像的目的。输入的数据应当根据需要做适当的预处理，以获得更好的表现。

循环神经网络；卷积神经网络；长短时间记忆模型；图像描述；数据预处理

Abstract：Convolutional neural network has a satisfactory performance in image recognition and processing,but can only deal with a single input,cannot be established between multiple inputs.Recurrent neural network has a unique advantage in dealing with sequence information.The two kinds neural network algorithm can be used to achieve the image sequence of language de⁃scription.Firstly,the convolution neural network is used to extract the feature of the image,and then connected to the LSTM model to train the network with the input language sequence to achieve the purpose of image caption.Input data should be prop⁃erly pretreated as needed to achieve better performance.

Key words：Recurrent Neural Network;Convolutional Neural Network;Long Short-Term Memory;image caption;data pre⁃processing

1 概述

全连接神经网络和卷积神经网络以其优异的特性在众多领域都取得了重要的研究成果，但是，也存在表现不佳的场景。它们都只能处理单个的输入，前一个输入和后一个输入是完全没有关系的[1]。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的[2]。比如，当我们在理解一句话意思时，单独理解每个词是不够的，我们需要处理这些词连接起来的整个序列。为了达到这样的目的，就需要用到深度学习领域中另一类非常重要神经网络：循环神经网络[3](Recurrent Neural Network)。

循环神将网络(RNN)通过反向传播算法反向传播误差，它与神经网络相似，只不过与时间有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再是无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。……