APP下载

基于ArcReLU函数的神经网络激活函数优化研究

2019-06-15许赟杰徐菲菲

数据采集与处理 2019年3期
关键词:分类实验

许赟杰 徐菲菲

(上海电力学院计算机科学与技术学院,上海,200090)

引 言

深度学习的概念源于人工神经网络[1]的研究,而激活函数更是人工神经网络模型在理解和学习非线性函数时不可或缺的部分。若不使用激活函数,神经网络每一层的输出都是上一层输入的线性函数,无论神经网络具有多少层,输出皆为输入的线性组合,该类情况就是最基本的感知机。因此需要使用激活函数为神经元引入非线性因素,使神经网络可以任意逼近任何非线性函数,这样才能让神经网络应用到众多的非线性模型中。本文则基于误差反向传播神经网络,对常用激活函数进行研究对比,而后对其不足之处进行改进,以提高其最终的收敛速度和计算精度。在激活函数中最为常见的为Sigmoid系函数和ReLU系函数。

Sigmoid函数[2]在Sigmoid系函数中最具代表性,其具有软饱和性[3],即该函数在定义域内处处可导,但当输入值过大或过小时,其斜率趋近于0,同时其导数也趋近于0,这将导致向底层传递时的梯度变得非常小。由于其在BP神经网络向下传导的梯度内包含了一个自身关于输入的导数因子,一旦输入落入饱和区之中,该因子将会接近于0,致使向底层传递的梯度变得极小,此时,神经网络的参数很难得到有效的训练,即会出现梯度消失[4]现象。这一现象使得BP网络一直难以得到有效的训练。同时,由于基本没有信号通过神经元传至权重再到输入值,这时梯度在模型更新中将难以起到作用。……

登录APP查看全文

猜你喜欢

分类实验
记一次有趣的实验
分类算一算
垃圾分类的困惑你有吗
做个怪怪长实验
教你一招:数的分类
NO与NO2相互转化实验的改进
实践十号上的19项实验
给塑料分分类吧
《实验流体力学》征稿简则