魏苗苗 杭 杰

(南京邮电大学计算机学院，南京， 210003)

引 言

分类与回归是监督学习研究中的基本任务。分类与回归最终的目标是在一个由各种可能的函数组成的假设空间中搜索与实际目标分类函数最接近的分类器，使该分类器尽可能精确地分类未知实例。然而，单个学习器在某些情况下的泛化性能是有限的。为了提高学习器的泛化性能，学者们提出了集成学习的思想。1997年Dietterich[1]指出集成学习将会成为机器学习领域的4大研究方向之首。

集成学习是使用多个学习器共同决策的过程。集成学习一般可以分为两个步骤：(1) 产生多个不同的基分类器，(2) 采用某种集成策略(如投票法)来决定最终的分类结果[2]。按照基分类器之间的种类关系，可以把集成学习分为同质集成学习和异质集成学习[3]。同质集成学习是集成多个同种类的基分类器，该同种类的代表分类器可以是人工神经网络、决策树、朴素贝叶斯和K-近邻等。而异质集成学习是集成多个各种类别的基分类器，其中代表的基分类器有叠加法[4]和元学习法[5]等。随着机器学习领域不断深入的研究，集成学习已经应用到多个领域。在传统的集成学习中，大多数的方法是先产生多个不同的弱分类器，再由所有的基分类器构建一个强分类器。尽管这种方法可以有效地提高分类器的泛化性能，但是该方法存在一些不足：集成所有的基分类器将消耗大量的时间和空间资源；预测速度也随着基分类器的增多而急剧下降。……