郭晋鹏 曹海龙

摘 要： 双语词典抽取任务是自然语言处理一个重要课题。本文基于替换方法重新训练词向量，使得词向量具有跨语言特性。本文主要研究了训练词典的获取方法，以及词向量共训练模型，在中英维基百科语料上进行实验。实验结果表明，按照确信度的方法选取训练词典，基于替换的方法得到的词向量跨语言性质较好，最终抽取的词典具有较高的准确率。

关键词： 双语词典抽取; 无监督; 替换方法

文章编号： 2095-2163（2021）03-0217-03 中图分类号： TP391.1 文献标志码：A

【Abstract】Bilingual lexicon induction is an important task in natural language processing. This paper retrains the word vector based on the substitution method， so that the word embedding gets cross-language characteristics. This paper mainly studies the acquisition of training dictionary and the co-training model of word vector， and carries out experiments on the corpus of Chinese and English Wikipedia. The experimental results show that using the selected training dictionary according to the method of confidence， the word vector obtained by the method of substitution has a good cross-language property， and the dictionary extracted finally has a high accuracy.

【Key words】 bilingual lexicon induction; unsupervised learning; substitution method

0 引 言

在各种跨语言任务中，双语词典抽取是目前备受各方关注的研究课题。在多数跨语言自然语言处理任务，如机器翻译[1]、跨语言文本分类[2]、跨语言情感分析[3]中，跨语言词典都起着至关重要的作用。但是，进行跨语言词典抽取往往需要人工标注的跨语言知识，如平行语料或者人工标注的翻译词典等。但世界上大多数语言对之间的平行语料或者种子词典是十分匮乏的。因此，近年来学者们开始研究无监督跨语言词典抽取，旨在使得计算机能够在不借助跨语言知识的前提下即可得到跨语言信息，从而高效、自动地获取跨语言知识。无监督跨语言词典抽取都基于如下的一个基本假设：对于不同语言的基于分布式表示的词向量空间，都存在某种映射关系，可以使其投影到相同的空间中，并且具有相同语义的单词在这个空间中的距离会彼此接近。

目前，无监督跨语言词典抽取……