范馨予 徐雪远 邬 霞

(北京师范大学人工智能学院， 北京 100875)

1 引言

随着机器学习的发展，学习任务的特征维度不断增加[1-3]。而在高维特征数据中，与任务不相关的特征数据或噪声特征数据存在的规模也不断增加[4]。这些特征数据不仅会降低学习任务的性能和效率，还会给结果的解释增加困难性。为了解决上述问题，特征选择和特征压缩变换常被用来降低特征的规模[5]。相较于特征压缩变换，特征选择能够不改变原始特征的物理属性及数据结构，更加有利于保留学习任务的可解释性[6]。

按照特征选择模型和学习任务模型的关系来说，特征选择算法可分为过滤式(filter)特征选择算法、包裹式(wrapped)特征选择算法以及嵌入式(embedded)特征选择算法[7]。过滤式特征选择算法通过某一种法则计算所有特征的权值，并根据权值大小排列挑选出重要的特征，例如ReliefF，拉普拉斯分数(Laplacian Score, LS)[8]和最小冗余最大相关算法(Minimum Redundancy Maximum Relevance, mRMR)[9]；包裹式特征选择算法将所有特征分成不同的子集，用分类器对所有子集进行评价，挑选分类性能最好的特征子集作为最终的特征选择结果，例如序列特征选择(Sequential Feature Selection, SFS)算法[10]和遗传算法(Genetic Algorithm, GA)[11]；嵌入式特征选择算法则是将特征选择的过程和学习的过程结合在一起，在模型训练的过程中筛选出与任务相关的重要特征，例如线性判别分析(Linear Discriminant Analysis, LDA)[12]，最小二乘法(Least Square Method, LSM)[13]，和随机森林(Random Forests, RF)[14]。对于这三类特征选择算法来说，过滤式算法的特征选择过程与分类学习过程相互独立，挑选的特征子集往往不是最佳的特征子集；……