多分类研究中的boosting算法*
2018-03-05哈尔滨医科大学公共卫生学院卫生统计学教研室150081张圆圆
哈尔滨医科大学公共卫生学院卫生统计学教研室(150081) 张圆圆 侯 艳 李 康
boosting算法起源于PAC (probably approximately correct)学习模型,由Schapire在1990年首次提出,是一种基于一系列基础分类器的组合分类模型算法,基础分类器可以选择任意一种弱分类模型(如决策树)[1]。随后,Freund和Schapire在此基础上于1995年提出了著名的Adaboost算法[2]。到目前为止,许多研究者围绕如何选择基础分类器、错分样品权重的确定方法以及损失函数的选择与优化,相继提出多种boosting算法[3]。本文对多分类研究中的boosting算法进行综述。
基本原理与方法

(1)
其中
βt=εt/(1-εt),εt
(2)
εt为损失函数,组合分类器模型为
αt=log(1/βt)
(3)
单标签建模的boosting算法
单标签数据指对于每一个样本,其仅属于一个类别,主要有如下几种方法:
1.AdaBoost.M1
AdaBoost.M1通过使用多分类弱分类器如决策树等将原始AdaBoost算法直接扩展至多分类,用指示函数I[ht(xi)≠yi]表示分类器的错误率errt,替换原始算法中的误差|ht(xi)-yi|,属于一种直接多分类方式[4]。AdaBoost.M1实现起来较为简单,但是K类别多分类问题仅要求其分类正确率大于1/K,二分类AdaBoost要求弱分类器的分类正确率要大于1/2,直接进行扩展时该条件过于苛刻。
2.SAMME算法
针对AdaBoost.M1方式对弱分类器的要求过于严格的问题,2009年,Hastie等人在AdaBoost算法的基础上提出了SAMME算法以及其变体SAMME.R算法[5]。SAMME与AdaBoost框架基本相同,主要不同之处在于αt的计算方式,SAMME在AdaBoost的基础上添加了log(K-1)这一项,即
(4)
为保证αt>0,只需要保证分类器的正确率1-errt>1/K即可,当K=2 时,SAMME等同于二分类的AdaBoost.M1算法。相比于AdaBoost要求分类器分类效果大于1/2的条件来说,在多分类条件下,SAMME的分类误差可以大于1/2且赋予错分样本的权重要比AdaBoost更大。当K……
