APP下载

融入双语词向量的韩汉名词短语对齐方法研究

2021-11-12刘晨阳赵天锐

智能计算机与应用 2021年9期

刘晨阳,赵天锐

(信息工程大学洛阳校区,河南 洛阳 471000)

0 引 言

随着国际互联网的迅速发展,信息资源愈发呈现大规模、多语言的特征。在自然语言处理领域,以双语(或多语)平行语料库为基础的应用日益增多。如,机器翻译、词典编撰、语义消歧、跨语言信息检索等。其中,平行语料库对应单位的抽取对齐,是实现这些应用的关键技术之一。对应单位是对应源文本和目的文本中可识别的对应文本块或片段,是意义对应完整并具有清晰边界的任何片段或序列[1]。其中短语便是客观存在于平行句对之中的一种对应单位,主要表现形式为互译的多词组合。本文针对韩汉平行句对中的对齐名词短语进行抽取,构建了基于短语构成规律的短语抽取与融入双语词向量、短语长度和词性相似度的短语对齐模型,并在政治外交领域的韩汉平行语料上进行相关实验测评。其成果能广泛应用于翻译研究、语言教学、术语词典编纂和政治外交话语研究等领域,其采用的方法也可为相关研究提供参考和思路。

1 研究现状

双语短语对齐研究的基础是双语词对齐[2-3],其原理是词语相似度的计算。词组由词构成,词对齐的部分技术方法也可迁移至短语对齐上,其关键点在于如何将词的相似度转换为短语的相似度。关于短语对齐现有研究的主流方法是先进行单语短语抽取,再进行对齐。对齐的方法有基于词典的、基于统计或二者结合的方法。

文献[4]提出了基于规则和基于统计相结合的方法,对中英文句对分类,进行句法分析后提取短语,再利用最大熵排序模型,从候选对齐句对中选取最佳结果;……

登录APP查看全文