回复式神经网络及其应用研究综述
2020-10-20刘丹,叶茂
刘 丹,叶 茂
(电子科技大学 计算机科学与工程学院,成都 611731)
1 引 言
自20世纪80年代以来,人工神经网络(Artificial Neural Network,ANN)已经成为人工智能领域的研究热点.ANN是一种旨在模拟大脑神经系统对外界复杂信息的处理机制的数学模型,其在模式识别、智能机器人、自动控制等领域表现出了良好的智能特性.传统的全连接神经网络(Full Connected Neural Network,FCNN),也称前馈神经网络(Feed-forward Neural Network,FNN),如图1(左)所示.它采用单向多层结构,同一层的神经元之间没有相互连接,是彼此独立的.换句话说,对于FNN,一个输入对应一个输出,不同的输入之间是没有联系的.感知机在1957年首次被提出,作为最早的ANN,感知机是一种最简单的网络模型.作为深度FNN的经典网络——卷积神经网络(Convolutional Neural Network,CNN)[1]依靠其局部连接和共享权值的设计理念,在图像识别、自然语言处理等领域被广泛应用,尤其在手写数字识别任务中取得了良好的识别效果[2,3].但是,FNN无法处理在时间或空间上有前后关联的信息输入问题.所以,传统神经网络的应用受到了限制.

图1 (左)前馈神经网络和(右)回复式神经网络Fig.1 (left)FNN and(right)RNN
针对需要处理序列信息的学习任务,如文本翻译、智能对话、股票行情预测等,它们的输入是有时间顺序的序列数据,回复式神经网络(Recurrent Neural Network,RNN)作为一类用于处理和预测序列数据的神经网络模型应运而生.RNN在文本生成、机器翻译、语音识别、视频标记等任务中被广泛地应用研究,并且已经取得丰硕的研究成果[4-6].作为神经网络的一个重要模型,RNN克服了传统机器学习方法对……
