赵 宏，郭万鹏

（1. 兰州理工大学计算机与通信学院，甘肃 兰州 730050；2. 兰州理工大学信息中心，甘肃 兰州 730050）

0 引言

人工神经网络ANN（Artificial Neural Networks）的研究是人工智能领域的一个重要分支，在对生物神经网络结构及其机制研究的基础上所构建的人工神经网络,使得机器能够直接从数据中提取特征和学习规律，从而使机器具有一定的智能。ANN的研究最早可以追溯到1957年Frank Rosenblatt提出的感知机模型，后来出现的反向传播 BP（Back Propagation）算法推动 ANN进入实用阶段[1]，但由于当时的ANN训练数据缺乏、训练方法及技巧不成熟、计算机运算能力不够强大等原因，使得这个时期的ANN结构较为简单，可等价为主要用来进行浅层学习的单隐层神经网络。2006年深度学习领域奠基人Hinton教授，根据人脑认知过程的分层特性，提出构建深度神经网络DNN（Deep Neural Networks），并取得成功[2]。

近年来，深度神经网络在图像识别、语音交互、自然语言处理等领域取得突破，进入实用阶段。与浅层神经网络相比，深度神经网络训练难度更大，其主要原因是梯度下降算法的残差值在网络中逐层传播时变得越来越小，出现梯度消失的问题，使得底层网络由于残差值过小而无法得到有效的训练。从模型训练经验可知，选择合适的代价函数并配合相应的激活函数能够明显改善梯度消失的问题，从而加快网络的训练速度。文献[3]对如何提高深度神经网络的学习速率做了大量的研究，并指出交叉熵代价函数能够避免深度神经网络学习速率缓慢的问题，但忽视了激活函数对代价函数性能的影响。……