结合半监督学习和LDA模型的文本分类方法
2018-10-24王春华
韩 栋,王春华,肖 敏
(1.黄淮学院 信息工程学院,河南 驻马店 463000;2.武汉理工大学 计算机科学与技术学院,湖北 武汉 430063)
0 引 言
为了使文本分类效率进一步提高,必须提供足够多的已标记样本来训练分类器。然而,在很多实际情况中,已标记样本可能很少,但却有大量的未标记样本。为此,可以使用半监督学习(semi-supervised learning,SSL)方法[1],通过学习将未标记样本进行归类,扩大初始标签集,用作传统机器学习算法的输入。
主题模型(topic modeling)[2]是一种对文字中隐含主题进行建模的方法,由于其考虑了上下文关系,能够显著减少特征的数量并能够压缩文本表示。有研究表明,在训练集数据量较少时,主题模型在监督学习环境中的性能优于传统表示方法[3,4]。其中,以隐含狄利克雷分配(latent Dirichlet allocation,LDA)[5]概率主题模型作为文本相似性度量时,比基于词频的TF-IDF表示方法具有更高的效率[6]。
基于上述分析,为了解决在较少初始标签集环境下的文本分类问题,提出一种结合SSL和LDA主题模型表示法的训练集构建方法(SSL-LDA)。使用LDA主题模型表示文本特征,使用一个基于SSL的自训练模型来学习分类未标记文本,扩展标记文本集,以此解决具有少量标记样本集的场景。另外,为了获得SSL-LDA模型的最优参数组合,首先,通过方差分析(analysis of variance,ANOVA)统计测试方法来确定各种参数的影响能力,找出影响最小的参数并确定其值,以此降低参数维度。然后,通过一种简化粒子群算法(simplified particle swarm optimization,SPSO)来获得其它参数的最优组合。最后,基于扩展的训练集来训练朴素贝叶斯(NB)分类器实现文本分类。……
