张 振 苏依拉 仁庆道尔吉 高 芬 王宇飞

(内蒙古工业大学信息工程学院 内蒙古 呼和浩特 010080)

0 引 言

机器翻译是人工智能领域的重要研究课题之一，主要目标是研究如何使用计算机实现一种自然语言到另一种自然语言的自动转换。近年来，已经有很多研究尝试将深度神经网络的方法扩展到低资源语言对上，但因缺乏数以百万计甚至更多的平行句对而无法获得理想的结果。因此，如何用半监督学习无标记数据、多任务联合训练来缓解资源匮乏的问题成为近来神经机器翻译的一个重要研究方向。

目前，深度学习在自然语言处理中的困境之一是缺少大规模的标注数据。解决深度学习目前缺少大规模的标注数据这一困难的方法主要有两种：无监督预训练方法和多任务学习联合训练多个任务。

2018年发表的文献[1]提出了ELMo模型，介绍了一种新型深度语境化词表征，可对词使用的语法、时态、语态和语义等多个特征和词使用在上下文语境关联程度中的变化进行建模。ELMo中的词向量是在一个大型文本语料库中预训练而成。文献[2]提出了GPT模型，使用无监督预训练和监督微调的组合探索了用于语言理解任务的半监督方法。谷歌Brain团队提出的BERT[3]在GPT模型的基础上进行了修改，取得了很好的效果。

多任务学习[4](MTL)联合训练看起来相似的多个任务，能够通过单个模型解决协同任务。它通过将相关任务中训练信号所包含的域信息用作归纳偏差来提高泛化程度，在使用共享表示的同时并行学习任务来实现这一点，每项任务的学习内容可以帮助其更好地学习其他任务。……