南昌航空大学信息工程学院 罗艳芬

神经网络泛化能力是衡量神经网络性能优劣的一个重要方面，研究了几种提高神经网络泛化能力的方法，并且利用MATLAB仿真验证了各种方法的有效性。

引言

泛化能力是指经训练（学习）后的预测模型对未在训练集中出现的样本做出正确反映的能力，学习不是简单地记忆已经学过的输入，而是通过对有限个训练样本的学习，学到隐含在样本中的有关环境本身的内在规律性。尽管神经网络可以具备泛化能力，但大量的设计者在应用神经网络时都发现，获得好的泛化能力并非易事，它涉及的方面非常复杂。因此对于如何提高神经网络泛化能力，研究者们展开了大量的研究。

1.贝叶斯统计及其正则化

用于训练多层感知器的传统方法在统计学上可以解释为一种最大似然估计的变形实现，其思想是找到一组权值来尽可能地拟合训练数据。

图1 -1 无贝叶斯正则化训练结果

图1 -2 贝叶斯正则化训练结果

在贝叶斯正则化模式中，假设神经网络的权值和偏置满足特定的概率分布，用概率规则来实现学习和推理，对这些参数进行估计。贝叶斯定理的计算学习机制是将先验分布中的期望值与样本均值按各自的精度进行加权平均，精度越高者其权值越大。由于贝叶斯方法可以综合先验信息和后验信息，既可避免只使用先验信息可能带来的主观偏见和缺乏样本信息时的大量盲目搜索与计算，又可避免只使用后验信息带来的噪声影响。……