贺科达， 朱铮涛， 程　昱

(广东工业大学 信息工程学院，广东 广州 510006)



基于改进TF-IDF算法的文本分类方法研究

贺科达， 朱铮涛， 程昱

(广东工业大学 信息工程学院，广东 广州 510006)

类别关键词是文本分类首先要解决的关键问题，在研究利用类别关键词及TF-IDF算法对文本进行分类的基础上，提出了一种改进的TF-IDF算法.首先建立类别关键词库，并对其进行扩充及去重，克服了向量空间模型不能很好调节权重的缺点.通过加入文档长度权值修正文档中关键词的权重，有效地解决了原有特征词条类别区分能力不足的问题.采用贝叶斯分类方法，结合实验验证了该算法的有效性，提高了文本分类的准确度.

提取； 特征选择； 文本分类； 预处理

随着网络技术的不断发展，全球信息化以惊人的速度快速发展.近年来更是在全球范围内掀起了传播数据信息的浪潮，企业积累了大量的数据，这是它们最为宝贵的财富.对海量数据的获取、汇总、聚类[1]、分类显得尤为重要，其中文本分类的作用也越来越重要.文本分类[2]指对于所给出的文本集合，将每篇文档归入到按照预先定义的一个或者多个主题类别当中.而文本自动分类则是通过计算机程序来实现文本的准确、高效的分类.文本分类是数据挖掘中的一个重要内容.中文文本分类的基本步骤是中文分词、特征提取、训练模型、预测类别等步骤.在众多的文本分类算法中，主要有Rocchio算法、朴素贝叶斯分类算法[3]、决策树……