王磊　王汝凉　曲洪峰　玄扬

摘要：针对传统BP神经网络收敛速度慢且容易陷入局部极小值的缺点，通过实验对其进行分析并提出可以提高算法快速性和有效性的改进方法。介绍了BP神经网络的工作原理、基本流程、算法应用领域和在该领域下的优缺点，以及改进方法的具体步骤与改进后的优势。最后通过仿真实验验证了改进算法的有效性。

关键词：神经网络；BP神经网络；BP算法；

DOIDOI：10.11907/rjdk.161429

中图分类号：TP312

文献标识码：A 文章编号：1672-7800（2016）005-0038-03

0 引言

人工神经网络是一种模拟人脑神经网络，实现对信息并行处理的数学模型。该网络具有并行处理信息、容错性与非线性能力强等优点[1]。神经网络一般由多个简单的神经元经过复杂的网络结构组合在一起，可解决非线性问题。BP神经网络是神经网络中应用最为广泛的算法之一，其结构简单、易于理解，采用信息的正向传播和误差的反向传播。BP神经网络的非线性映射能力非常出色，使该网络可以处理任意的非线性函数。但是传统BP神经网络也存在收敛速度慢、稳定性差、具有极小值等缺点，很多学者对其进行了改进，但是大多以牺牲效率为代价。

文献[2]提出的改进方法是通过学习率自适应来加快收敛速度，虽然改进后的算法可以在速度上得到提高，但并不能解决存在极小值问题；文献[3]和文献[4]提出通过寻求最佳学习因子来改变权值，虽然加快了收敛速度，但是也没有解决极小值问题；文献[5]提出的改进方法是增加极限学习机，使网络具有较好的泛化能力，但是降低了收敛速度。

针对以上问题，本文提出动态修正权值和动态增加隐含层层数的改进方法。传统的BP神经网络只是误差的反向传播，通过误差来修正各层权值，使网络更加稳定。本文在此基础上采用了动态增加隐含层层数的方法，使网络具有更好的健壮性，并避免了极小值问题。通过改进可以使网络快速达到稳定状态，具有较好的收敛效果，避免了传统神经网络需要多次修改网络结构的情况，减少了学习时间。因此，改进后的算法具有较快的收敛速度。

1 BP神经网络方法

BP神经网络又称为误差反向传播神经网络，由输入层、隐含层、输出层及各层之间的连接权值组合成功能强大的网络结构[6]。BP网络由于其结构特性可以模拟任意非线性输入输出关系，操作简单，因此得到了广泛应用。其学习规则是最速下降法，通过实际输出与期望输出之间的误差反向传播，来调整各层连接权值和阈值，使网络具有更好的健壮性，且网络的误差平方和最小。其网络结构如图1所示。

2 BP神经网络方法改进

2.1 传统BP网络缺点

传统网络结构简单、应用广泛，是神经网络中最受欢迎的应用之一，但其仍然存在一些不足，具体如下：①网络收敛速度慢；②容易陷入极小值状态；③泛化能力差。

2.2 BP神经网络改进

通过对传统BP算法的分析，本文在误差反向传播修改各层权值的基础上，提出了根据误差大小动态增加隐含层层数的改进。具体改进方法如下：

（1）初始网络只选择单隐含层，并且隐含层的网络节点个数通以过下的计算公式得到。其中，n表示隐含层节点数，ni表示输入神经元个数，n0表示输出神经元个数，a表示1～10之间的常数。

2.3 改进后的优点

改进后的优点包括：①避免了算法易于陷入极小值的情况，使网络输出更加稳定；

②可以增加网络收敛速度，使更快地达到预期结果；

③使网络具有更广泛的应用范围，且泛化能力得到明显提高。

3 实验仿真及结果对比

经过2 000组样本数据实验对比之后（见表1），发现改进算法的结果比改进前具有明显优势，具体分析如下：①改进前迭代次数接近500，而改进后迭代次数不到300，比改进前减少了近一倍。很明显，改进后的算法可以有效提高神经网络收敛速度，使网络可以快速达到预期的输出值；②经过大量实验验证，改进后的算法没有出现极小值情况，但是改进前的算法在经过800组实验后出现了一次极小值情况，可见改进算法对于避免网络收敛极小值比较有效；③据实验统计，改进前的数据识别率为70%，改进后达到98.3%。可见改进后算法的识别率明显提高，对样本有很好的分类，有助于对数据的有效挖掘。

4 结语

本文首先介绍了BP神经网络的工作原理，分析了传统网络的优缺点，并根据存在的部分缺点提出了改进思路，最后通过实验对比改进前后的一些数据，显示了改进后的优势。通过算法的改进，可以明显地提高网络精度，使网络有很好的输出，对于复杂样本集具有很好的非线性映射。在今后的应用中，还将发现新的问题并对该算法继续完善优化。

参考文献：

[1]刘毅娟.人工神经网络概述[J].电子测试，2015（6）：74-75.

[2]刘载文，等.过程神经元网络学习算法及软测量方法的研究[J].系统仿真学报，2007， 19（70）：1456-1459.

[3]王益群，等.神经网络软测量模型中全共轭梯度算法研究[J].机械工程学报，2005， 41（6）： 97-101.

[4]WANG YIQUN， et al.Appraising and improving on the training algorithm of neural network in the soft measurement system of dynamic flow[C].ICFP.HangZhou， China， 2005：102-108.

[5]HUANG GUANG-BIN， CHEN LEI，CHEE-KHEONG SIEW.Universal approximation using incremental constructive feedforwardnet works with random hidden nodes[J].IEEE Transactions on Neural Networks，2006，17（4）：879-892.

[6]樊振宇.BP神经网络模型与学习算法[J].软件导刊，2011（7）： 66-68.

[7]尤树华.基于神经网络的强化学习研究概述[J].电脑知识与技术，2012（10）：6782-6786.

[8]刘毅娟.人工神经网络概述[D].唐山：华北理工大学，2015.

[9]武美先.BP神经网络及其改进[D].太原：太原科技大学，2005.

（责任编辑：黄 健）

Abstract：For the disadvantages that traditional BP neural network is slow convergence speed and easily trapped in local minima shortcomings， the article analyzes it through the experiment and puts forward improved method that can improve the quickness and the effectiveness of algorithm.This paper systematically introduces the working principle and the basic process of BP neural network ， application field of the algorithm and the advantages and disadvantages under it，finally validates the effectiveness of the improved algorithm through the simulation experiment.

Key Words： Neural Network；BP Algorithm；Classification； Prediction