一种基于混合误差梯度下降算法的过程神经网络训练
2014-10-03许少华宋美玲朱新宁
东北石油大学学报 2014年4期
关键词:效率
许少华,宋美玲,许 辰,朱新宁
(东北石油大学 计算机与信息技术学院,黑龙江 大庆 163318)
一种基于混合误差梯度下降算法的过程神经网络训练
许少华,宋美玲,许 辰,朱新宁
(东北石油大学 计算机与信息技术学院,黑龙江 大庆 163318)
针对过程神经网络(PNN)单一训练算法自适应调整能力差、缺乏对学习性质有效控制的问题,提出一种梯度下降与牛顿迭代相结合的求解算法——混合误差梯度下降算法.在训练初始阶段,基于网络训练目标函数,采用梯度下降法进行迭代寻优,只需计算目标函数一阶导数数值公式,复杂度低且误差下降快;当梯度下降法学习效率降低时,引入牛顿迭代法,并将梯度下降法的训练结果作为初始参数代入目标函数,使问题转化为求解非线性方程组,不需要一维搜索而提高网络训练效率.通过学习效率分析自适应调节两种算法的切换,直至满足停机条件.将其应用于时变信号模式分类,实验结果表明,该算法较大地提高PNN训练效率.
过程神经元网络;算法效率;牛顿迭代法;梯度下降法;混合误差梯度下降算法
0 引言
针对时空维信息系统的建模和动态信号处理问题,何新贵院士提出和建立过程神经元网络(Process Neural Networks,简称PNN)理论和模型,证明PNN对L2非线性时变函数的可逼近性、模型的连续性,以及对连续时空维系统建模的可计算性等性质[1-2],为PNN的应用提供理论基础.与传统神经网络比较,PNN的结构和信息处理机制有很大不同,网络输入……
登录APP查看全文
