APP下载

基于分词的语句相似度计算的改进

2011-07-25邸书灵刘晓飞

邸书灵, 刘晓飞, 李 欢

(1.石家庄铁道大学信息科学与技术学院,河北石家庄050043;2.河北联合大学现代教育技术中心,河北唐山063009)

0 引言

语句相似度计算是自然语言处理领域中比较重要的研究课题,应用广泛。语句相似度是指两个语句相似的程度,即通过一定的算法从信息库中查找与指定句子相似的句子,得到满足用户需求的句子。语句相似度计算主要应用于FAQ系统、信息检索和翻译等方面。

目前有很多计算语句相似度计算的算法,如词形词序综合法[1-4]、语义依存树法[5-6]、编辑距离法[1]和基于关键词的TFIDF法[7]、语义词典法[8]等,这些方法各有优缺点而且仍在不断发展完善。

介绍了词形词序综合法的语句相似度计算算法,它将句子分割成多个短语,消除了局部的次序变化带来的影响,该方法还可保证当一个句子的分句或短语整体发生长距离移动后,仍与原句很相似,而众多短语中关键词的直接匹配,使得词形相似度计算更加准确。但是该方法对分词的依赖性很高,往往分词的质量决定了计算结果的准确性,由于目前的分词算法和系统在歧义处理和未登录词识别方面进展缓慢,致使分词具有很大约束性,算法准度不高,针对基于分词的词形词序综合法相似度计算的缺点对该算法进行了改进。

1 词形词序综合法

词形词序综合法有三部分组成:词形相似度、词序相似度和句长相似度。考虑到在两个句子比较时,根据词形、词序和句长各自对整个相似度计算的贡献,词形相似度起主要作用,句长相似度次要作用,而词序相似度作用最小。……

登录APP查看全文