郭军军，田应飞，余正涛，高盛祥，闫婉莹

(1. 昆明理工大学 信息工程与自动化学院，云南 昆明 650500；2. 昆明理工大学 云南省人工智能重点实验室，云南 昆明 650500)

0 引言

平行语料库的规模和质量对机器翻译的性能存在重要的影响。但平行语料库的构建成本很高，因为其需要相关领域人员的专业知识，在面对低投资语言时，平行语料的稀缺性问题显得更加严重，其中，汉语到越南语就属于低资源语言。通过大量的文本研究发现，在汉语和越南语之间存在着丰富的汉-越段落级可比语料库，这里可比语料库指的是主题对齐但非句子对齐的多语言文本的集合。如表1所示，汉语和越南语段落级的可比语料库中存在语义非常接近的句子对。伪平行句对抽取的目的就是从这些大量的可比语料库中挖掘出语义更加接近、质量更高的句子，以增加数据的数量和所覆盖域的范围。

表1 汉-越可比语料库中存在语义非常相似的句子

传统的解决思路是利用词嵌入的方式对齐句子中的短语，然后提取平行句子。例如，Benjamin[1]等提出了一种无须依赖任何文档级信息即可从一对大型单语语料库中提取伪平行句子的新方法，该方法首先利用词嵌入有效评估了数万亿个候选句子对，然后使用分类器进行查找，提升了神经机器翻译的性能；Minh Thang Loung[2]等使用双语单词嵌入模型学习单词表示后，使用相似矩阵上的卷积神经网络对一对句子是否对齐进行分类，从而提取平行句子；……