刘畅

【摘 要】人工神经网络作为人工智能的重要组成部分，有非常大的应用潜力。本文在阐述其神经网络的基本原理、发展与应用的基础上，着重研究了BP神经网络算法与其它一些优化算法之间相互融合的改进。BP神经网络在人工神经网络模型中是最典型、最好用、也是应用最广泛的一种网络模型。它是多层前向神经网络的一种，可以用任意精度逼近任意非线性函数，逼近性能尤其明显，最关键是它结构简单，是一种性能优良且简单易看的神经网络。

【关键词】BP神经网络；BP算法；函数逼近；神经元

1 研究背景与意义

1943年心理学家W.McCulloch 和数理逻辑学W.Pitts 首先提出了一个极为容易的神经网络模型，虽然该模型相对来说比较容易，但它为进一步的研究打下了一定的基础。直到20世纪80年代，美国物理学家J.J.Hop field提出一种反馈互连网，称为Hop field网，D.E.和J.L.等人提出多层前馈网的反向传播算法，简称BP算法。至此才掀起了研究神经网络的热潮。随着嵌入式系统在生活中的应用越来越普遍，像在手拿设备、交通工具控制、企业工业控制、安防设备装置等各个领域的广泛应用，人们将各种智能化设备应用于嵌入式系统来方便控制各种操作应用问题，其应用范围的不断扩大，将越来越受到各个不同领域专家的着重关注。传统人工神经网络使用的浮点数权值和光滑激励函数，在运作时需要进行许多大容量的浮点数算术运算，这种在资源和性能都有一定局限的嵌入式系统里很难做到。大量的浮点数权值相对的需要大量的存储空间，这对于要求存储容量相对精简的嵌入式系统来说是一项不太划算的开销，而且在运算能力比较薄弱的嵌入式处理器上进行大量的浮点数运算会导致整个系统的实时性能下降，不符合嵌入式系统在较高实时性能要求环境中的应用。为此，需要一个较精简的人工神经网络模型以适用在嵌入式系统中来实现目标。

2 研究现状与发展趋势

随着我们生活的一步步前进，技术也在慢慢升起，接踵而来的工程问题不断增加，在实际生活中应用中几乎所有神经网络的权值精度是有一定范围的，随着应用的不断深入我们生活；有限精度神经网络的性能越发光彩。如何去减少权值精度已经让我们学者开始产生极大兴趣。这研究一般分为两个方向。其一是现在所学的网络计算法训练法进行改正，使得正确率更加的精准。另外一个方向则是是序列化训练法。这门技术就是用线性函数来替换其他的函数来当做神经元激活函数。这个算法的有点就是能够极小的缩短误差陷阱。

1）将网络的最开始的变化参数停留在一定的范围中；

2）限制参数改变条件，当平均误差比网络训练误差还要小的时候才进行参数变化。实验证明这算法在1到2位权值精度也能得到良好的收敛。

2001年，Beiu在经过自己一系列的实验之后所表达了自己的观点，低精度权值神经网络确实有防止噪声的的污染的有点。使得他在这方面具有了很大的影响以及关注。这类网络可以简单并且有效率的在硬件中实现，且在VLSI中可以有效控制芯片面积和存储容量。

3 神经网络的模型

这样的模型向神经网络的如图所示，用到的是三个方面，为输入层，隐层，输出层，从头到尾的链接是按照随机抽取的，范围是0到1，把所有的神经元的值都设为0。出去和进来的神经元都是从线性恒等函数f（x）=x作为激励函数，而隐层神经元则以一组慢慢加高的正交多项式作为激励函数。

4 权值与结构确定法

定理1中间到最后的输出层的向量为ω、输入受激励矩阵Ф和所需的的目标向量γ可分开定义为：

为了实现快速、自动地确定出使网络具有最佳逼近性能的隐层神经元数，基于定理1，本文提出了一种新的有效方法，称为权值与结构确定法。权值与结构确定法的算法具体描述如下，其中s表示当前筛选次数，E和n分别表示网络的逼近误差和隐层神经元数，Emin和nmin分别表示当前筛选次数下网络所能达到的最小逼近误差和相对应的隐层神经元数，而Eopt和nopt分别表示经s次筛选后网络达到的最小逼近误差和相对应的隐层神经元数：

1）先收取学习样本集{（Xi，γi）}；设定s为1；设定Eopt为够大的数值（如10）；

2）随机选取输入层到隐层的连接权值（范围从0到1）；设定E与Emin相等；设定n、nmin为1；

3）若满足E≤Emin或nmin≥n-3，则进入4），否则跳入7）；

4）建立输入受激励矩阵Ф，由所需的权值直接确定法（2）一步算出隐层到输出层的最优权值，然后计算E；

5）若满足E≤Emin，则Emin←E，nmin←n，进入6），否则不需上述赋值，直接进入6）；

6）n←n+1（添加到1个隐神经元），跳至3）；

7）若满足Emin≤Eopt，则Eopt←Emin，nopt←nmin，并进入8），否则并不需要上述赋值，然后进入8）；

8）s←s+1，进入9）；

9）若满足s=4（筛选4次），则进入10），否则跳至2）；

10）输出运算时间、Eopt和nopt。

【参考文献】

[1]熊浩，晏海华，黄永刚，等.一种基于BP神经网络的代码相似性检测方法[J].计算机科学，2010，37（3）：159-164.

[2]Zhang Yu-nong， Wang Jun. Recurrent neural networks for nonlinear output regulation[J]. Automatica， 2001， 37（8）： 1161-1173.

[3]Rumelhart D， McClelland E. Parallel distributed processing： explorations in the microstructure of cognition[M]. Cambridge： The MIT Press， 1986.

[4]Li， Y.， Liu， K.J.R.： Static and Dynamic Convergence Behavior of Adaptive BlindEqualizers[Z]. IEEE Transactions on Signal Processing 44： 2736-2745（1996）.

[5]张雨浓，杨逸文，李巍.神经网络权值直接确定法[M].广州：中山大学出版社，2010.

[6]冯康.数值计算方法[M].北京：国防工业出版社，1978.

[责任编辑：杨玉洁]