宜年，艾山·吾买尔，刘胜全

（1.新疆大学信息科学与工程学院，乌鲁木齐830046；2.新疆多语种信息技术重点实验室，乌鲁木齐830046）

0 引言

神经网络机器翻译（Neural Machine Translation，NMT）是最近几年研究人员主要关注的机器翻译方法，该方法随着计算能力的提升和网络结构的优化使得其在多个翻译任务上的性能超过统计机器翻译，从而成为当前机器翻译领域中最引人注目的方法。2014年Sutskever等人[1]提出了一种端到端的神经网络机器翻译框架——编码器-解码器结构。随后Bahdanau等人[2]提出了注意力机制，改进了编码器-解码器模型对于长句子翻译不好的缺陷。2017年Facebook提出了ConvS2S翻译模型[3]，该模型根据利用多层卷积神经网络和门控机制来构建翻译模型，使得模型的训练时间更短和性能更好。2017年Google根据编码器-解码器框架和注意力机制提出一种基于自注意力（Self-Atten⁃tion）机制的Transformer模型[4]，该模型相比于之前利用循环神网络和多层卷积神经网路的模型。它仅使用自注意力机制来构成编码器和解码器，从而使得模型训练时间显著缩短，并进一步提升了机器翻译的性能。Transformer是目前学术界和工业界使用最广泛的机器翻译模型。在本次的维汉机器翻译任务中，我们使用Transformer模型实现了维汉机器翻译模型，主要选用Facebook团队研发的FairSeq开源系统。

1 神经网络机器翻译及相关策略

1.1 基于自注意力机制的Transformer模型

Vaswani等人[4]提出了Transformer模型。它在机器翻译领域取得了显著的提升。不同于RNNSearch模型，它是完全基于自注意力机制，能够有效地提升模型训练的效率。……