关 超，高敬阳，尚 颖

（北京化工大学 信息科学与技术学院计算机系，北京100029）

0 引 言

Boosting类算法和Bagging类算法是目前神经网络集成研究中个体网络生成方法最为流行的。其中Adaboost及其改进算法［1－4］的提出解决了Boosting类算法虽然能提高网络的泛化能力但稳定性差且很难运用于实际的问题，使得Boosting类算法在很多领域得到应用和改进［5－8］。

但Adaboost存在过分调整权值的问题，学者Chun－Xia Zhang提出的Local Boost方法采用局部误差计算方法，调整权值时更容易有区分的修改权值，能避免噪声数据权值的累积，因此在有噪声训练的情况下表现良好，甚至优于Bagging方法。但有学者研究发现，Local Boost这类动态调整权值的方法在采用不稳定的训练方法时有可能会陷入某局部最优解［9］。且由于采用了邻居算法，在一定程度上Local Boost的方法会使个体网络之间的差异度变小，网络之间的相关程度较高，学者通过引入Q－statistics统计方法来计算个体网络之间的相关度，相关度较高的集成在某些领域并不适用，其泛化能力较低［10］。

我们在实验过程中发现，Local Boost方法具有使局部表现较差的样本在迭代过程中显现出来的特性，容易将出现这类情况的网络丢弃，在迭代次数有限时易导致训练失败。Lazy Bagging方法采用邻居方法围绕测试样本生成训练样本集［11］，使网络对测试样本训练更有针对性，能很好地用于特定样本的识别，能生成足够的个体网络用于集成。

基于上述考虑，本文将Lazy Bagging选取训练样本的方法融入Local Boost算法，提出了Boosting类新算法BSE（boosting seeded ensemble）。BSE算法和Local Boost算法一样能使 “较难”样本通过计算邻居误差显现出来，引入Lazy Bagging选取训练样本的方法，采用 “较难”样本作为种子样本生成个体网络训练集。……