刘小文，郭大波，李 聪

(山西大学 物理电子工程学院，山西 太原 030006)

0 引 言

卷积神经网络是深度学习中模仿人脑神经网络处理信息的一种学习网络，可以用于大型图像处理.在生物神经网络中[1]，神经元通过树突接收来自其他神经元的信号，各树突接收信号的权重(突触权值)不同，神经元接收的信号来自于各树突接收的信号与其权重的乘积之和.卷积神经网络采用权值共享网络结构使之更类似于生物神经网络，同时模型的容量可以通过改变网络的深度和广度来调整，从而对自然图像也具有很强的处理能力[2].

1 卷积神经网络和激活函数

对于卷积神经网络的研究，自2006年Hinton等[3]在Science 上提出了深度学习，许多学者从不同的方向都有所创新.有基于构建图像表示方法研的CNN图像分类方法研究[4]，有基于自适应学习率的研究[5]，有将dropout层运用于池化阶段的方法[6]，有致力于预训练与随机初始化模型[7]，这些方法都在一定程度上提高了卷积神经网络的表达能力.本文主要研究在图像分类问题上，激活函数的优化对提高分类准确率和降低损失率的影响.

对于一个单层的感知机，可以很容易地完成一个二分类的运算，如图 1 所示.

图 1 中y=w1x1+w2x2+b.

图 2 含激活函数的单层感知机Fig.2 Single layer perceptron with activation function

图 2 中a=w1x1+w2x2+b，y=σ(a).

这样输出值由于经过激励函数σ(a)，就可以处理非线性的分类问题，多层感知器的情况同上.

激活函数是指把激活的神经元的特征通过非线性函数把特征保留并映射出来，这就是神经……