张立波 孙一涵 罗铁坚

1(中国科学院软件研究所 北京 100190) 2(中国科学院大学 北京 101408)

(zsmj@hotmail.com)

一种基于大规模知识库的语义相似性计算方法

张立波1孙一涵2罗铁坚2

1(中国科学院软件研究所 北京 100190)2(中国科学院大学 北京 101408)

(zsmj@hotmail.com)

人类知识总量不断增加，依靠人类产生的结构化大数据进行语义分析在推荐系统和信息检索等领域都有着重要的应用.在这些领域中，首要解决的问题是语义相似性计算，之前的研究通过运用以维基百科为代表的大规模知识库取得了一定突破，但是其中的路径并没有被充分利用.研究基于人类思考方式的双向最短路径算法进行单词和文本的相似性评估，以充分利用知识库中的路径信息.提出的算法通过在维基百科中抽取出颗粒度比词条更细密的节点之间的超链接关系，并首次验证了维基百科之间的普遍连通性，并对2个词条之间的平均最短路径长度进行评估.最后，在公开数据集上进行的实验结果显示，算法在单词相似度得分上明显优于现有算法，在文本相似度的得分上趋于先进水平.

大规模知识库；语义相似性；维基百科；最短距离；连通性

利用计算机进行语义相似度评估是人工智能领域的一个瓶颈问题，这个问题的核心是如何让计算机模拟人类的思考方式.然而人类思维模式复杂，难以模仿，但一个基本事实是，人类的思考模式是基于自身的经历和经验所形成的知识来进行推理、分析和决断.因……