关于非线性激活函数的深度学习分类方法研究
2018-07-09杨国亮许楠李放龚曼
江西理工大学学报 2018年3期
关键词:实验
杨国亮, 许楠, 李放, 龚曼
(江西理工大学电气工程与自动化学院,江西 赣州 341000)
在过去几年中,计算机视觉发展迅速,出现了如阈值处理[1]等先进的技术.已经从工程特征体系发展至端到端特征学习架构,如深层神经网络,以及其在语义分割[2]和图像检索[3]上的应用.产生这种革命性变化的主要原因是大数据集、高性能硬件和新的有效模型等的迅速发展.其中,最关键的一个因素是激活函数对深层无监督学习的影响.
人工神经网络利用激活函数的历史早于深度学习,从初始的S型函数 (Sigmod)、正切函数(tanh)到已知的目前应用最广泛的整流线性函数(ReLU)[4].而ReLU的出现使得深层神经网络的训练水平取得了新的突破.ReLU是一个分段线性函数,可将负输入保持为正输入,输出为零.这种形式使得它可以减轻梯度消失的问题,适合训练深层神经网络.然而,它也有一个潜在的缺点,即一旦梯度达到零,神经元将永远不会激活.针对这一缺陷,Maas 等[5]提出了漏整流线性单元(LReLU),将ReLU的零负部以线性函数代替.其后,LReLU被扩展为参数整流线性单元(PReLU)[6],将负部的斜率改为由参数α控制,通过神经网络的反向传递不断更新修正α的值,这一想法是突破性的,改变了以往激活函数没有学习能力的性质.实践表明PReLU能够实现更高的分类精度,并且几乎不会出现因引入参数而引起过拟合的现象.在这之后,Clevert等[7]提出了指数线性单元(ELU),创新性地将负部的线性利用指数函数修正为非线性,使得负……
登录APP查看全文
