双向词典和语义相似度计算相结合的词对齐算法
2015-05-04尹宝生
沈阳航空航天大学学报 2015年2期
尹宝生,杨 阳
(沈阳航空航天大学 人机智能研究中心,沈阳 110136)
双向词典和语义相似度计算相结合的词对齐算法
尹宝生,杨 阳
(沈阳航空航天大学 人机智能研究中心,沈阳 110136)
基于统计的词对齐方法需要大规模的双语语料作为输入,难以避免数据稀疏的问题并且算法时间开销大。针对句子或段落级的实时性对齐需求,提出了一种基于双向词典和语义相似度计算的高效词对齐算法,通过采用动态组块切分和匹配、基于知网的语义相似度计算、基于最大匹配的冲突消解和剪枝消歧等策略,有效地解决了由于翻译的灵活性和多样性带来的近似译文的词对齐问题。实验表明,该算法不仅继承了基于词典词对齐算法的优点,同时还改进了传统基于词典词对齐算法的不足,有效提升了词对齐的正确率和召回率,在小规模双语语料和实时性对齐方面具有更好的适用性。
词对齐;双向词典;动态组块切分和匹配;语义相似度计算
双语语料库(Bilingual Corpus)包含两种不同语言间的互译信息,是基于统计(Statistic-Based)机器翻译[1]和基于实例(Example-Based)机器翻译[2]的重要知识源之一,被广泛应用于词典编纂、词义消歧和命名实体识别等自然语言处理任务。然而,未经任何处理的双语语料库(即生语料,Raw Corpus)不能直接应用在相关的自然语言处理任务中。依据互译片段的大小,双语语料库对齐分为多个层次:篇章对齐、段落对齐、句对齐和词对齐。所谓词对齐是指从源文和译文中匹配词语级别的对应关系,词语一级的对齐互译片段最小,含有更细粒度的双语互译信息,需要丰富的资源和多种方法的融合,处理过程相比其他层次对齐更加复杂。……
登录APP查看全文
