王禾清

摘要：随着电子邮件数据量的不断增大，特征降维成为垃圾邮件检测研究中不可缺少的一环。目前常见的特征选择方法往往针对的是多分类问题，未能针对二分类问题进行特殊化的处理。因此，该文对传统的互信息特征选择方法进行了改进。除了针对其缺少词频信息，引入词频因子外，还针对二分类问题，引入了特征贡献比的概念。实验证明，采用改进的互信息特征选择方法大大提高了垃圾邮件的检测效果。

关键词：垃圾邮件检测；特征选择；互信息；词频因子；特征贡献比

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2017）14-0163-04

近些年，随着电子邮件文本数据规模的不断扩大，特别是特征维数的增大，采用向量空间模型表示的样本数据特征维数高且稀疏，在进行数据处理时占用了大量的存储空间。并且依据这些数据建立数学模型时，数据分析器很容易陷入过学习的状态，得到的模型泛化效果差。为了缓解“维数灾难”带来的种种问题，对原始数据进行降维处理成了文本数据分析过程中必不可少的一个环节。

目前特征降维的措施可以分为两类，一类是特征选择（fea-ture selection），还有一类是特征提取（feature extraction）。但是比较特征选择和特征提取可以发现，前者使用起来比较简单，便于直观地理解所选择的特征；而后者相对前者而言，它由于考虑了特征词之间的关联性，通过映射的方式，将原始高维特征空间中的数据投影到低维空间中，保留了样本中的重要信息。……