潘 果

PAN Guo

1.湖南大学 信息科学与工程学院，长沙 410082

2.湖南现代物流职业技术学院 物流信息系，长沙 410131

1.College of Information Science and Engineering,Hunan University,Changsha 410082,China

2.Logistics Information Department,Hunan Vocational College of Modern Logistics,Changsha 410131,China

在现代大量的数据特征分析中，有些特征是冗余的，影响算法的性能和效率。因此需要一种高效的特征选择算法，将输入特征集去冗余，可以减少特征预处理的成本，降低构建分类器的复杂度，提升分类器的精度。

互信息（Mutual Information，MI）是两个随机变量之间相关性的一个信息度量，对称且非负，当且仅当变量独立时为零。之前有研究人员研究基于MI概念构建出高效的特征选择算法[1-8]，本文基于MI概念提出一种有效的特征选择算法，对现有的算法作出了改进，使其得到更广泛的应用、具有更好的分类性能，并且降低了计算复杂度。

文献[3]给出了两个特征选择函数需满足的基本约束条件，提出了一种构造高性能特征选择的通用方法，依此方法构造了一个新的特征选择函数KG（Knowledge Gain），并对此方法进行实验分析。

文献[4]提出了一种基于互信息的无监督的特征选择方法（UFS-MI），使用一种综合考虑相关度和冗余度的特征选择标准UmRMR（无监督最小冗余最大相关）来评价特征的重要性。

文献[5]研究了基于互信息的特征选择算法（MIFS）和 MIFS-U算法（U：信息分布均匀），这两个算法都涉及到了用于表达输入特征之间冗余度的冗余度参数β。如果β=0，则不考虑输入特征之间的MI，算法根据单个输入特征和类之间的MI依次选择特征。然而，如果选择的β太大，算法就只包含输入特性之间的关系，不包括单个输入特性和类之间的关系[9]，此时再调整参数β将会变得很困难。……