严涛 李同彬 陈德礼 闻辉

摘 要：本文以典型前馈神经网络中的BP神经网络、RBF网络与ELM网络为代表，介绍了几种网络的特点及研究现状，分析了几种网络今后的研究方向。

关键词：反向传播网络;径向基函数网络;极限学习机网络;前馈神经网络

当前，用于分类的神经网络算法及模型已经广泛应用于科学、工业和医学等不同领域中。按照根据神经网络的拓扑结构划分，可以分为前馈型神经网络和反馈型神经网络。其中前馈型神经网络因其结构简单，方便实现，且计算量相对较少等优点，成为目前研究最为广泛的神经网络。本文主要以典型浅层神经网络中的反向传播（BP）网络、径向基函数（RBF）网络与极限学习机（ELM）网络来展开，以介绍几种网络模型的特性及研究现状。

1 典型浅层前馈神经网络研究现状

从理论上而言，含有单隐层的前馈神经网络能以任意精度逼近给定的连续函数。但是在实际中，由于不同的非线性问题的复杂性以及所使用的网络模型自身的特点，很多情况下往往很难达到所期望的逼近精度。以BP神经网络为例，BP网络隐节点使用的核函数为sigmoid核，采用统一的核参数，优点是泛化性能较好，但是核映射的稳定性较差。典型的BP算法采用基于误差反向传播的梯度下降方法来迭代更新网络权值，由此使得网络的输出误差平方和达到最小。整个学习过程的构成是通过给定的训练样本多次呈现给网络，以进行各层权值不断更新学习。……