张 蕾, 姜 宇, 孙 莉

(1. 吉林大学 发展规划处, 长春 130012； 2. 吉林大学 计算机科学与技术学院, 长春 130012)

随着互联网技术的快速发展, 各种数据呈爆发性增长, 产生了大量文本信息, 因此采用文本分类技术对海量数据进行科学地组织和管理尤为重要. 机器学习技术对文本分类不需要人为干预, 因此被广泛应用[1-3]. 词频-逆文档频率(term frequency-inverse document frequency, TF-IDF)算法具有简单、 可靠性高等特征, 可用于对文本分类, 但也存在不足, 尤其是处理一些特定的分类问题(如学科交叉等问题)时, 存在对与文章内容关系不密切的生僻词给予过高权重的问题[4-5], 且TF-IDF算法未考虑词语在不同分类分布时对其权重的影响, 同一词语在不同论文分类中表示的意义和重要程度不同. 虽然LDA主题模型、 word2vec/doc2vec分布式模型和深度学习模型等经典方法在处理文本分类时都有其各自优势[6-7], 但在处理一些数据量较小无法满足深度学习算法, 也不能满足LDA主题模型、word2vec/doc2vec分布式模型时, TF-IDF算法可以解决这类问题. 因此, 本文采用TF-IDF向量空间模型作为词频向量转化模型. 传统TF-IDF算法在实际应用中当词项存在不同语义时在准确分析上还存在差距, 目前已有一些解决方法[8-9], 其中基于词频差异的特征选取方法被证明有效[10]. 本文提出一种基于改进TF-IDF文本聚类的分类方法, 以提高算法的准确性. 首先采用改进TF-IDF文本聚类方法进行词频向量提取； 然后利用K-mean++算法对TF-IDF算法生成的词频向量结果进行聚类分析; 最后利用词云方法和随机森林……