王 丽, 王 涛, 肖 巍, 刘兆赓, 李占山

(1. 长春工业大学 计算机科学与工程学院, 长春 130012； 2. 吉林大学 人工智能学院, 长春 130012； 3. 吉林大学 计算机科学与技术学院, 长春 130012)

特征选择是机器学习领域中的一个重要问题, 可通过缩小特征维度提高模型的精度及运行速度, 减少运行时间. 在寻找最优特征子集过程中, 通过结合一些搜索策略去除冗余特征与不相关特征, 目的是在给定的泛化误差下选择维度最小的特征子集, 或者选择具有K个特征的最佳特征子集, 使其在原始样本上产生最小的泛化误差[1].

由于特征的选取方式与评价方式不同, 因此特征选择方法又分为过滤式方法、 包裹式方法及嵌入式方法[2]. 过滤式方法通常依赖于数据的固有属性, 如方差、 熵、 相关性等估计特征子集的重要程度, 不依赖于特定的学习器, 通常速度较快并具有可伸缩性[3]. 包裹式方法通过一些已有的机器学习算法评估所选的特征子集, 评估过程依赖于这些机器学习算法并与之不断交互, 通常产生的结果较好[4]. 嵌入式方法将特征选择过程融入学习过程中, 通过优化预先设计好的目标函数搜索最优特征子集, 并在学习过程中删除对分类结果影响较小的特征, 保留良好特征[5].

由于搜索空间会随着特征个数的增加呈指数级增长, 所以在分类问题中的特征选择是NP难问题. 对于包含n个特征的问题, 其搜索空间会有(2n-1)种可能的结果[6-7]. 目前, 对特征选择方法已有许多研究成……