药珍妮

(北京邮电大学 网络技术研究院，北京市 100088)

基于主题和特征的文本相似度算法研究

药珍妮

(北京邮电大学 网络技术研究院，北京市 100088)

本文提出了结合主题和各主题下关键特征的文本相似度算法，目的在于更准确的挖掘被描述对象的近邻对象集。本文首先介绍卡方统检验特征统计法，并利用改进的卡方检验，计算训练集中已知主题的文本的特征；而后介绍了最小编辑距离算法、余弦相似度算法和杰卡德相似系数，在论证了主题对文本相似度的重要性后，又针对难提取主题的文本加以改进，最终提出了基于主题和特征的文本相似度算法；然后对各个算法在测试集上的相似度计算结果进行分析，证明本文提出的算法在速度和精确度上明显优于其他算法；最后将该算法应用于股票的概念股题材标注上，分析结果并提出改进空间和不足之处。

数据挖掘；文本相似度；主题；特征

0 引言

文本相似度的计算已经深入到互联网发展的各个领域；如：在QA系统中，快而准的判断问题之间的相似度，决定了QA系统回答的响应速度和准确度；在各大门户网站中，文本相似度的挖掘，是用户个性化推荐系统和编辑系统的关键工作。

在文本分类的问题上，由于有本数量过多、描述篇幅过大或内容部分缺失等问题，导致想完全依赖标注好的训练集判断新样本的属性越来越难。针对这类问题，本文提出了从文本所描述主题和的各个主题下描述内容的特征入手，对于一个文和其相似度高的几个文本，他们之间不论主题还是对应的主要特征都存在相关性，这样，既不会导致同名但内容不符被判定为一类，也不会导致内容高度相符但被判定成不同类的情况。……