单词语义相似性计算综述
2020-02-18杨晓燕
计算机工程与应用 2020年4期
徐 戈,杨晓燕,汪 涛
闽江学院 计算机与控制工程学院,福州350108
1 引言
自然语言(中文、英文等)中的单词之间有着各种各样的语义关系。其中,单词的语义相似关系是非常重要的一种。通常,单词的语义是否相似主要的判断标准是待考察的两个单词是否可以相互替换。在自然语言处理领域,语义相似性的概念要更加广泛一些。除了同义词、近义词、上下位关系等,语义的相关性(如医生、病人),语义蕴含(如打鼾、睡觉),甚至部分与整体(如汽车、轮胎)也有可能被视为具有一定程度的语义相似性。
单词的语义相似性计算是指人们使用各种语言资源,通过计算机按照某种计算方法,用数值来度量两个单词间的语义相似程度。本文的目的就是针对这些相似性计算方法,通过对各种方法的概括介绍,了解其本质特征、优缺点、适用场景以及发展的必然性。
传统上,单词语义相似性的计算方法主要有两类:一类是基于知识的方法;另一类是基于语料的方法。随着两类方法的发展,互相融合是一个必然的选择。近些年,研究人员开始关注单词内部,利用词根词缀、字符串、部首甚至笔画等信息提升单词语义相似性的计算性能。
单词的语义相似性计算在自然语言处理中是基础性工作。由于单词在语言结构中处于较为底层的位置,通常人们先研究单词相似性计算,进而推广到句子、段落乃至整篇文章。
单词的语义相似性计算在自然语言处理中能够支撑各种类型的任务。……
登录APP查看全文
