基于相对贡献率的特征选择方法
2014-02-19杨杰明曲朝阳
东北电力大学学报 2014年4期
关键词:特征
杨杰明,王 静,曲朝阳
(东北电力大学信息工程学院,吉林吉林132012)
1 引 言
随着因特网技术的高速发展,各种类型的数据呈爆炸式的增长,人们难以借助手工操作对海量数据进行分析和管理[1]。目前,已有越来越多的基于统计理论和机器学习的方法用于信息的自动处理[2]。其中,文本分类方法成为组织和处理大量文档数据的关键技术。但是,在文本分类系统中,文本特征表示通常采用向量空间模型进行描述[6]。然而原始特征向量空间的维数十分巨大,高维的特征集一方面造成文本表示的数据稀疏问题,另一方面也造成了分类器过分拟合的现象[7]。这两个问题直接影响文本分类的效率和精确度。有效的特征选择方法可以降低文本的特征向量维数,去除冗余特征,保留具有较强类别区分能力的特征,从而提高分类的精度和防止过拟合[8]。因此,在文本分类过程中,如何进行有效的特征选择成为很多学者研究的热点。目前已有很多特征选择方法应用在文本分类过程中,例如:信息增益[9],互信息[10],几率比[11]和 DIA 相关因子[12]等。
本文提出一种新的特征选择算法,该算法从相对贡献率的角度度量一个特征对于分类的重要性,并在20-Newgroups数据集上与信息增益、互信息、几率比和DIA相关因子等算法进行了对比。实验结果表明,该算法能有效提高文本分类器的性能。
2 相关技术
2.1 信息增益
信息增益是机器学习领域常用的算法。如果一个特征的信息增益值越大,则表明该特征对分类所起的作用越大。……
登录APP查看全文
