李一波，郭培宜，张森悦

(沈阳航空航天大学 自动化学院，辽宁 沈阳 110000)

0 引 言

AlexNet网络模型在图像识别分类、目标检测、语音文字识别等方面都表现得十分突出[1]。AlexNet虽然不是首个被创建的卷积神经网络模型(convolutional neural networks，CNN)，可是它是首个引起众多研究者所关注的卷积神经网络，具有里程碑意义。AlexNet模型是由多伦多大学教授Geoffery Hinton同他的学生Krizhevsky等人共同设计，2012年创下Imageclassification比赛的新记录，并获得了ImageNet Large Scale Visual Recognition Challenge(ILSVRC)挑战赛的冠军[2]。同年，Krizhevesky等[3]在大型图像数据库ImageNet[4]的图像分类竞赛中提出的AlexNet模型，以超越第二名11%的精确度获得了冠军，使得卷积神经网络成为学术界关注的焦点之一。随着机器学习研究领域的不断拓展，AlexNet也被许多学者作为首选的网络模型，通过改进和优化，其分类精度不断提高。

深度卷积神经网络的观点起初来源于人工神经网络，而网络中激活函数则是人工神经网络模型训练过程和学习非线性函数过程中不能或缺的一部分。如果网络模型不使用激活函数，神经网络每一层的输出都将等价于前一层输入的线性函数，那么无论神经网络将会有多少层，输出都将是输入的线性组合，这种情况使网络模型成为最基本的感知器，深度神经网络将变得失去本身意义[5]。因此，使用激活函数作为神经元来引进非线性因素是十分必要的，可以使得神经网络能够任意逼近任何非线性函数，进而使神经网络能够应用到更多的非线性模型中。Krizhevsky等人在AlexNet中提出了ReLU激活函数来训练网络[6]，其优点是前向区间为线性函数，加快了模型训练的收敛速度，解决了softsign、Softsign、Tanh等常见激活函数中的梯度消失问题，然而ReLU激活函数很可能导致一些神经元在模型训练中无法激活。……