杨 浩，马建红

(河北工业大学 计算机科学与软件学院，天津 300401)

正则化参数求解方法研究

杨 浩，马建红

(河北工业大学 计算机科学与软件学院，天津 300401)

针对BP神经网络算法训练过程中出现的过拟合问题，提出了利用一阶原点矩，二阶原点矩，方差和极大似然估计概念的推广来计算L2正则化中正则化参数λ值的方法。该方法通过对算法数据集[X,Y]中的X矩阵进行运算得到的四个λ值，BP神经网络算法训练时通常采用的是贝叶斯正则化方法，贝叶斯正则化方法存在着对先验分布和数据分布依赖等问题，而利用上述概念的推广计算的参数代入L2正则化的方法简便没有应用条件限制;在BP神经网络手写数字识别的实验中，将该方法与贝叶斯正则化方法应用到实验中后的算法识别结果进行比较,正确率提高了1.14-1.50个百分点;因而计算得到的λ值应用到L2正则化方法与贝叶斯正则化方法相比更能使得BP神经网络算法的泛化能力强，证明了该算法的有效性。

BP神经网络；贝叶斯正则化；矩法估计；极大似然估计；方差；L2正则化

0 引言

机器学习中常常遇到高维小样本数据，高维小样本数据的变量空间维数很高，而样本空间维数并不高，因此往往会为建模带来一系列的问题，例如，训练样本数量的不足会导致过拟合问题，模型的泛化能力很差，极端情况下训练样本数小于变量数会导致建模过程需要求解病态的欠定方程组，进而导致模型的解不唯一，过拟合的时候，拟合函数的系数往往非常大，过拟合中拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。……