石 磊,巴 阳,陶永才,卫 琳

1(郑州大学 信息工程学院,郑州 450001) 2(郑州大学 软件技术学院,郑州 450002) E-mail:ieyctao@zzu.edu.cn

1 引 言

文本分类是数据挖掘和机器学习领域的研究热点之一,特征选择作为文本分类的核心主要目的是降维[1].特征选择的好坏将会直接影响文本分类的准确率.CHI统计法(chi-square test)又称卡方统计法,是数理统计中检验两个变量独立性的方法.CHI 统计法是最常用的文本特征选择方法之一[2].

MapReduce[3]是Google公司处理大规模数据而提出的基于分布式并行计算的编程模型,MapReduce的核心策略是分而治之,将大的任务分解成若干个小任务进行处理[4].通过对数据的拆分与组合不仅有效地提高了数据并行处理能力也极大地改善了系统性能.

传统CHI统计法只关注文档频率,一些文档频率低但特征词频率高的特征词将不会被选为特征项;同时,放大了在指定类别中出现很少但在其他类别中出现较多的特征词在该类中的权重.

为解决上述问题,本文提出一种基于MapReduce的CHI文本特征选择机制,主要贡献如下:

1)对传统CHI统计法公式进行改进,引入类内频数解决忽略高频特征词的问题,同时引入类间方差解决放大外围特征词权重的问题,从而提高CHI统计法的特征选择准确度,从根本上提高文本分类的精度;

2)提出基于MapReduce的CHI文本特征选择模型,将文本处理分为独立可并行的两个阶段:文本训练阶段和文本分类阶段,充分利用MapReduce模型处理海量数据的优势,优化文本训练和分类的模式,从而提升文……