APP下载

中文短文本语法语义相似度算法

2016-03-15廖志芳周国恩李俊锋刘飞蔡飞

湖南大学学报·自然科学版 2016年2期

廖志芳 周国恩 李俊锋 刘飞 蔡飞

摘要:通过分析中文短文本的特征,提出了一种基于语法语义的短文本相似度算法.该算法结合中文语句语义的相似性以及语句语法的相似性,即计算具有相同句法结构的短文本的相似度以及考虑语句词组顺序对相似度的贡献,对中文短文本相似度进行计算.实验表明,本文提出的算法在中文短文本相似度计算结果上更加接近人们的主观判断并且拥有比较好的精确率与召回率.

关键词:语法语义相似度;语句相似性计算;HowNet;语料库;语法分析;语义分析;相似度计算

中图分类号:TP391.1 文献标识码:A

文章编号:1674-2974(2016)02-0135-06

短文本相似度计算在文章查重、信息检索、图像检索、智能机器问答、词义消歧和搜索引擎等多个领域有着非常广泛的应用[1],并在英文处理方面取得了许多实质性的成果,如机器人语音对话系统等.但是在中文信息处理中存在一些困难,例如未登录词识别问题、语法结构复杂和一词多义等[2].为此本文主要研究中文短文本(语句)相似度计算方法,并提高计算结果的精确度.

短文本相似度表示的是多个短文本(语句)之间的相似程度,属于一种度量参数,相似度值越高,则表明文本间越相似,反之越不相似[3].文本相似度包括语义和语法等方面,但是在实际中主要考虑语义层次的相似性,往往忽略了文本的语法结构对文本相似度的重要影响.

大量的研究证明短文本的语法结构对相似性的影……

登录APP查看全文