基于BP神经网络学习率优化的研究
2018-08-21赵建民王雨萌
微型电脑应用 2018年8期
赵建民, 王雨萌
(东北石油大学 计算机与信息技术学院, 大庆 163318)
0 引言
1943年,Warren Mc Culloch 和 Walter Pitts 提出了神经网络层次结构模型[1],确立为神经网络的计算模型理论,从而为机器学习的发展奠定了基础。1950年“人工智能之父”图灵发提出了著名的“图灵测试”,使人工智能成为了计算机科学领域一个重要的研究课题[2]。
人工智能已成为全球新一轮科技革命和产业变革的着力点[3],其推广和应用获得了极大的成功,并逐渐成为一种极其重要的工程技术[4]。随着人工智能技术的日益成熟和不断深入,研究人员发现神经网络愈发体现出其优越的性能,神经网络是人工智能发展中所使用的重要方法,也是当前类脑智能研究中的有效工具[5]。而BP神经网络(Back Propagation Neural Networks,BPNN)[6]则是应用普及程度最高的一项神经网络内容[7-8],BP神经网络已广泛应用于非线性建摸、函数逼近、系统辨识等方面[9]。
本文将对标准的BP神经网络算法进行改进,通过验证异或问题并结合模式识别[10]中的手写模式识别[11],将变化学习率应用于经典的BP神经网络,用以解决固定学习率在训练模型时所出现的易越过全局极小值点、模型收敛速度慢[12]的问题。
2 BP神经网络
BP神经网络是一种信号由正向传播,误差按逆传播算法训练的多层前馈神经网络,BP神经网络具有非线性映射能力强,容错能力强,泛化能力强等优点。标准的BP神经网络模型包含三层,分别是输入层、隐藏层和输出层.在正向传播过程中,输入样本从输入层传入,传向输出层。……
登录APP查看全文
