一种基于置换的组合分类器剪枝方法

2014-04-01，

中原工学院学报 2014年4期

，

(信阳师范学院，河南信阳 464000)

在过去的十几年里，组合分类方法研究一直是机器学习和数据挖掘中热门的研究领域。给定相同的训练信息，组合分类器往往比单个分类器表现出更好的泛化能力，这是因为其创建有差异且具备高准确率的基分类器。

构建有差异且具备高准确率组合分类器的方法有很多。例如，通过抽样为每个基分类器构建有差异的训练集；通过操纵特征基将训练集映射到不同的特征空间，进而为基分类器构建不同的训练集(如COPEN[1])；通过操纵算法的参数或结构从而构建准确且有差异的组合分类器。

然而，大部分组合分类器的方法存在一个共同的问题：倾向于构建大量的基分类器，这样不但需要大量的存储空间，而且增加了组合分类器的预测响应时间。在一些实际应用(如数据流)中，最小化运行时间是至关重要的。组合剪枝(组合选择，组合瘦身)是处理该问题的一种有效方法，即选择全部基分类器的一个子集作为子组合分类器，用于预测未知样例[2-6]。

本文将置换策略引入组合分类器剪枝问题中，进而提出了基于基分类器置换的组合分类器剪枝方法(EPR，Ensemble Pruning via base-classifier Replacement)。同时，使用差异性方法分析了EPR的性质，基于该性质，提出了一种基于差异性的度量指标(Diversity-based Measure)以评估分类器相对于组合分类器的重要性，进而用该度量指标指导EPR搜索最优或次优目标。