APP下载

多分类研究中的boosting算法*

2018-03-05哈尔滨医科大学公共卫生学院卫生统计学教研室150081张圆圆

中国卫生统计 2018年1期
关键词:分类

哈尔滨医科大学公共卫生学院卫生统计学教研室(150081) 张圆圆 侯 艳 李 康

boosting算法起源于PAC (probably approximately correct)学习模型,由Schapire在1990年首次提出,是一种基于一系列基础分类器的组合分类模型算法,基础分类器可以选择任意一种弱分类模型(如决策树)[1]。随后,Freund和Schapire在此基础上于1995年提出了著名的Adaboost算法[2]。到目前为止,许多研究者围绕如何选择基础分类器、错分样品权重的确定方法以及损失函数的选择与优化,相继提出多种boosting算法[3]。本文对多分类研究中的boosting算法进行综述。

基本原理与方法

(1)

其中

βt=εt/(1-εt),εt

(2)

εt为损失函数,组合分类器模型为

αt=log(1/βt)

(3)

单标签建模的boosting算法

单标签数据指对于每一个样本,其仅属于一个类别,主要有如下几种方法:

1.AdaBoost.M1

AdaBoost.M1通过使用多分类弱分类器如决策树等将原始AdaBoost算法直接扩展至多分类,用指示函数I[ht(xi)≠yi]表示分类器的错误率errt,替换原始算法中的误差|ht(xi)-yi|,属于一种直接多分类方式[4]。AdaBoost.M1实现起来较为简单,但是K类别多分类问题仅要求其分类正确率大于1/K,二分类AdaBoost要求弱分类器的分类正确率要大于1/2,直接进行扩展时该条件过于苛刻。

2.SAMME算法

针对AdaBoost.M1方式对弱分类器的要求过于严格的问题,2009年,Hastie等人在AdaBoost算法的基础上提出了SAMME算法以及其变体SAMME.R算法[5]。SAMME与AdaBoost框架基本相同,主要不同之处在于αt的计算方式,SAMME在AdaBoost的基础上添加了log(K-1)这一项,即

(4)

为保证αt>0,只需要保证分类器的正确率1-errt>1/K即可,当K=2 时,SAMME等同于二分类的AdaBoost.M1算法。相比于AdaBoost要求分类器分类效果大于1/2的条件来说,在多分类条件下,SAMME的分类误差可以大于1/2且赋予错分样本的权重要比AdaBoost更大。当K……

登录APP查看全文

猜你喜欢

分类
分类算一算
垃圾分类的困惑你有吗
星星的分类
我给资源分分类
垃圾分类,你准备好了吗
按需分类
教你一招:数的分类
说说分类那些事
给塑料分分类吧