翟夕阳，王晓丹，雷 蕾，魏晓辉

(1.空军工程大学 防空反导学院，西安 710051; 2.解放军第463医院，沈阳 110042)

基于多类指数损失函数逐步添加模型的改进多分类AdaBoost算法

翟夕阳1，王晓丹1*，雷 蕾1，魏晓辉2

(1.空军工程大学 防空反导学院，西安 710051; 2.解放军第463医院，沈阳 110042)

(*通信作者电子邮箱afeu_wang@163.com)

多类指数损失函数逐步添加模型(SAMME)是一种多分类的AdaBoost算法，为进一步提升SAMME算法的性能，针对使用加权概率和伪损失对算法的影响进行研究，在此基础上提出了一种基于基分类器对样本有效邻域分类的动态加权AdaBoost算法SAMME.RD。首先，确定是否使用加权概率和伪损失;然后,求出待测样本在训练集中的有效邻域;最后,根据基分类器针对有效邻域的分类结果确定基分类器的加权系数。使用UCI数据集进行验证，实验结果表明：使用真实的错误率计算基分类器加权系数效果更好；在数据类别较少且分布平衡时，使用真实概率进行基分类器筛选效果较好；在数据类别较多且分布不平衡时，使用加权概率进行基分类器筛选效果较好。所提的SAMME.RD算法可以有效提高多分类AdaBoost算法的分类正确率。

集成学习；多分类；AdaBoost算法；多类指数损失函数逐步添加模型(SAMME)；动态加权融合

0 引言

Boosting算法[1]是基于可能近似正确(Probably Approximately Correct, PAC)可学习性模型而提出的一种经典集成算法。由于Boosting算法存在缺陷，很难应用于实际问题，针对此问题Freund等[2]1995年提出了AdaBoost(Adaptive Boosting)算法。AdaBoost算法是最常用的一种Boosting算法的变形，更加面向实际，可以有效提升弱分类器的性能。

传统的AdaBoost算法只能解决二分类问题，然而在实际应用中要处理的问题经常是多分类问题。……