徐菲菲, 许赟杰

(上海电力大学 计算机科学与技术学院, 上海 200090)

随着人工神经网络[1]的研究和发展,具有多层隐含层的深度学习逐渐成为人工智能领域中较为热门的研究方向,而伴随着神经网络的逐步发展,激活函数依旧是其结构中不可或缺的部分。若在神经元中不使用非线性的函数作为激活函数,那么无论神经网络具有多少隐含层,最终都只会得到输入数据的线性组合。这样的结果将会偏离现实情况,无法做到真正的拟合。因此,为了使神经网络可以应用于各种现实问题,需要引入非线性的因素。这是激活函数所具备的重要作用。本文将对各类不同系的激活函数进行研究和比对,综合其优点和不足之处,并加以改进,以达到提高收敛速度和计算精度的目标。

目前常用的激活函数大致分为Sigmoid系函数和线性整流函数(Rectified Linear Unit,ReLU)系函数两类。Sigmoid系中最具代表性的分别是Sigmoid[2]函数和Tanh[3]函数。这两个函数都具备可导性,但若输入值趋近于定义域边界时,其导数都将会趋于平缓,从而导致向下传播的梯度因子趋近零,最终会使神经网络参数难以得到有效的训练。上述情况就是Sigmoid系函数的软饱和性[4]所导致的梯度消失[5]现象。

为缓解梯度消失现象,研究者在Sigmoid系函数后提出了ReLU函数[6]。ReLU函数具有分段函数的结构特征,当输入值落入正半轴时,其导数部分恒为1,可以保持梯度在向下传播时不衰减,因此能够有效地缓解梯度消失现象。但是由于其负轴部分恒为零,因此负轴的导数部分将难以传递梯度变化,会产生神经元死亡现象。……