APP下载

一种基于混合误差梯度下降算法的过程神经网络训练

2014-10-03许少华宋美玲朱新宁

东北石油大学学报 2014年4期
关键词:效率

许少华,宋美玲,许 辰,朱新宁

(东北石油大学 计算机与信息技术学院,黑龙江 大庆 163318)

一种基于混合误差梯度下降算法的过程神经网络训练

许少华,宋美玲,许 辰,朱新宁

(东北石油大学 计算机与信息技术学院,黑龙江 大庆 163318)

针对过程神经网络(PNN)单一训练算法自适应调整能力差、缺乏对学习性质有效控制的问题,提出一种梯度下降与牛顿迭代相结合的求解算法——混合误差梯度下降算法.在训练初始阶段,基于网络训练目标函数,采用梯度下降法进行迭代寻优,只需计算目标函数一阶导数数值公式,复杂度低且误差下降快;当梯度下降法学习效率降低时,引入牛顿迭代法,并将梯度下降法的训练结果作为初始参数代入目标函数,使问题转化为求解非线性方程组,不需要一维搜索而提高网络训练效率.通过学习效率分析自适应调节两种算法的切换,直至满足停机条件.将其应用于时变信号模式分类,实验结果表明,该算法较大地提高PNN训练效率.

过程神经元网络;算法效率;牛顿迭代法;梯度下降法;混合误差梯度下降算法

0 引言

针对时空维信息系统的建模和动态信号处理问题,何新贵院士提出和建立过程神经元网络(Process Neural Networks,简称PNN)理论和模型,证明PNN对L2非线性时变函数的可逼近性、模型的连续性,以及对连续时空维系统建模的可计算性等性质[1-2],为PNN的应用提供理论基础.与传统神经网络比较,PNN的结构和信息处理机制有很大不同,网络输入……

登录APP查看全文

猜你喜欢

效率
你在咖啡馆学习会更有创意和效率吗?
提升朗读教学效率的几点思考
注意实验拓展,提高复习效率
效率的价值
引入“倒逼机制”提高治霾效率
质量与效率的争论
跟踪导练(一)2
提高食品行业清洁操作的效率
OptiMOSTM 300V提高硬开关应用的效率,支持新型设计
“钱”、“事”脱节效率低