APP下载

基于HNC理论的词语相似度计算

2014-04-14吴佐衍王宇

中文信息学报 2014年2期
关键词:语义符号概念

吴佐衍,王宇

(大连理工大学管理科学与工程学院,辽宁大连116024)

1 引言

词语的相似度计算在信息检索、信息抽取、文本自动分类、词义消歧、机器翻译等领域有着广泛的应用[1]。

目前词语相似度算法可以分为两种。一种是基于本体知识的方法。这种方法是根据人类对概念的理解,将词语构建成具有语义关系的词典或语义网络,利用概念节点之间的关系、语义距离、层次深度、密度等度量词语相似度。例如,基于WordNet,Wu和Palmer使用最近祖先概念节点来计算两个概念节点相似度[2],Rada用两个概念节点的最短路径长度来衡量相似度[3],Leacock在Rada的基础上加入了概念节点的深度影响[4];基于HowNet和同义词词林,刘群等分别提出了相应的汉语词语的相似度算法[1,5-9]。这种方法具有简单有效的优点,但它依赖于词典的建设,存在人为的主观性影响。另一种是利用大规模的语料库进行统计。这种方法通过计算两个词语在同一上下文共现的概率来度量词语的相似度。例如,Ricardo通过词语的共现分析计算相似度[10];Lin等利用两个概念共同拥有的信息量来度量相似度[11]。该方法能够较好地反应出词语相似度,但计算量大,且计算方法复杂。

本文是以HNC理论为语义知识来源,进行词语的语义相似度计算。HNC理论是中国科学院声学研究所黄曾阳先生提出的,以语义表达为基础,融语义、语法、语用为一体,通过词汇和语句两个联想脉络来“帮助”计算机理解自然语言[12]。利用HNC理论的概念联想脉络就可以非常容易地发现词语之间的语义相关性,也可以容易地给出其量化的数值[13]。……

登录APP查看全文

猜你喜欢

语义符号概念
Birdie Cup Coffee丰盛里概念店
学符号,比多少
语言与语义
幾樣概念店
“+”“-”符号的由来
变符号
“上”与“下”语义的不对称性及其认知阐释
图的有效符号边控制数
认知范畴模糊与语义模糊
语义分析与汉俄副名组合