秦喜文, 王 芮, 于爱军， 董小刚*, 张斯琪

(1.长春工业大学 数学与统计学院， 吉林 长春 130012;2.北京首钢国际工程技术有限公司， 北京 100043)

0 引 言

为了提高机器学习在分类问题上的准确性和效率，一些研究者已经开始将特征选择算法与机器学习算法相结合。通过选择重要的相关特征来降低计算成本，使得计算过程更加准确和易于理解。

特征选择可以通过过滤器、包装器或嵌入方法进行。过滤器方法为每个特征分配一个重要值以构建一个排名，得分最高的特征是与数据类最密切相关的。这种方法可以使用与算法无关的技术，如F-score[1]，以及基于信息度量的数据驱动变量选择方法，如联合互信息和正则化互信息等[2-3]。包装器方法根据搜索算法确定的给定特征子集中分类器的性能来选择特征。选择分类器后，若干特征子集将用作分类器的输入数据，然后选择精度最高的特征子集。嵌入式方法将特征选择融合在模型训练的过程中，比如决策树在分枝的过程中，就是使用嵌入式特征选择方法，其内在还是根据某个度量指标对特征进行排序。 同时，随机森林中的特征重要性排序也是嵌入式方法的一种。

机器学习已有近70年的发展历史，随着信息技术的不断发展完善，机器学习也被广泛应用于各个领域。计算机利用机器学习算法，通过模拟人类的行为不断提高机器的工作效率。自1949年，Hebb开启机器学习的第一步后，机器学习经历数十年的发展不断进步。……