杨宏晖,王芸,孙进才,戴健,李亚安

(西北工业大学航海学院, 710072, 西安)

融合样本选择与特征选择的AdaBoost支持向量机集成算法

杨宏晖,王芸,孙进才,戴健,李亚安

(西北工业大学航海学院, 710072, 西安)

为提高AdaBoost分类器集成算法的分类精确度并简化分类系统的复杂度,提出一种融合样本选择与特征选择的AdaBoost支持向量机集成算法(IFSelect-SVME)。该算法在AdaBoost算法的每个循环中利用加权免疫克隆样本选择算法进行样本选择,并用互信息顺序向前特征选择算法进行特征选择,再利用每个循环优化选择得到的特征样本子集训练个体SVM分类器,并对其进行加权集成,生成最终的决策系统。对实验所用9组UCI数据集的仿真结果表明:与支持向量机集成(SVME)算法相比,IFSelect-SVME算法的正确分类率有所提高,且样本数可减少30.8%～80.0%,特征数可减少32.2%～81.5%,简化了集成结构,缩短了测试样本的分类时间,所得到的分类系统具有更好的分类精度。

分类器集成;AdaBoost算法;支持向量机;样本选择;特征选择

在统计模式识别领域,分类器集成作为提高分类系统精确度和泛化性能的重要方法[1],主要通过生成并组合个体分类器来实现分类[2-4]。但是,分类器集成在实际应用中存在2个主要问题：①训练分类器的样本和特征常含有噪声样本与冗余特征,这导致分类器集成的实际结果与理论值相差甚远;②分类器集成势必增加分类系统的复杂度,导致分类时间过长,限制了分类系统在对在线测试时间有要求领域的应用。近年来,研究者们试图设计出更有效的集成实现方式解决这2个问题。……