孙海鹏　赵铁军

摘 要：神经机器翻译模型的学习往往依赖于大规模的平行语料，然而并不是所有语言对都有充足的平行语料。为了解决神经机器翻译中平行语料缺失的问题，研究人员提出了无监督神经机器翻译，通过无监督预训练策略、去噪自编码器、反向翻译和共享潜在表示机制仅依赖于单语语料对翻译任务进行建模。本文从模型主要机制、训练过程出发来分析无监督神经机器翻译，并介绍无监督神经机器翻译现阶段的发展以及存在的挑战。

关键词：无监督神经机器翻译;去噪自编码器;反向翻译

【Abstract】Thetrainingofneuralmachinetranslationoftenreliesonlarge-scaleparallelcorpora，butnotalllanguagepairshavesufficientparallelcorpora.Inordertoalleviatetheproblemofthelackofparallelcorporainneuralmachinetranslation，unsupervisedneuralmachinetranslationisproposedtomodeltranslationrelyingsolelyonmonolingualcorporawiththehelpofacombinationofdiversemechanismssuchasunsupervisedpre-trainingstrategy，denoisingauto-encoder，back-translation，andsharedlatentrepresentation.Thispaperanalyzesunsupervisedneuralmachinetranslationfromtheperspectiveofmodelmechanismandtrainingprocess，andintroducestheadvancesandchallengesofunsupervisedneuralmachinetranslationatthepresentstage.

【Keywords】unsupervisedneuralmachinetranslation;denoisingauto-encoder;back-translation

作者简介：孙海鹏（1990-），男，博士研究生，主要研究方向：自然语言处理、机器翻译;赵铁军（1962-），男，博士，教授，博士生导师，主要研究方向：自然语言处理、机器翻译、机器学习与人工智能。

0 引 言

自注意力机制和transformer[1]模型的提出显著提升了神经机器翻译模型的性能，但是神经机器翻译模型训练需要大量的平行语料，而实际上大多数语言对的平行语料并不充足，甚至一些稀缺语言对只有少量的平行语料。通常构建平行语料库的成本很高，而平行语料的缺失往往会导致神经机器翻译模型性能的急速下降[2]，为了缓解平行语料缺失对神经机器翻译模型性能产生的消极影响，研究者们开始尝试仅使用单语语料来训练无监督神经机器翻译模型[3-4]。相较于平行语料，单语语料更容易挖掘与获取。许多只有有限平行数据的语言仍然拥有大量的单语数据。……