头旦才让，仁青东主，尼玛扎西*，于永斌，邓权芯

(1. 青海师范大学藏文信息处理教育部重点实验室 西宁 810008；2. 西藏大学信息科学技术学院 拉萨 850000；3. 电子科技大学信息与软件工程学院 成都 610054)

机器翻译是利用计算机自动地将一种自然语言转换为相同含义的另一种自然语言的过程[1]。机器翻译在语言形态上分为语音翻译和文本翻译，其历史发展已从基于规则的机器翻译、基于统计的机器翻译发展至基于神经网络的机器翻译(即神经机器翻译)。目前，神经机器翻译已经取代统计机器翻译，成为Google、微软、百度、搜狗等商用在线机器翻译系统的核心技术[2]。

神经机器翻译最早在2013 年被提出，但是存在长距离重新排序和梯度爆炸消失等问题，翻译效果不理想[3]。2014 年，文献[4]提出了编码器和解码器框架，引入了长短时记忆模型，解决了长距离重新排序和梯度爆炸消失等问题，同时神经机器翻译的主要难题变成了固定长度向量问题。2015 年，文献[5]将注意力机制应用到机器翻译中，解决了固定长度向量问题。

注意力机制的模型将注意力放在一些相关性高的词上，编码器和解码器之间通过注意力机制连接[6]，在翻译目标单词时检测其与源端语句相关的部分，解码时融合了更多的源语言端信息，可以显著提升机器翻译效果，是目前神经机器翻译的主流方法，应用广泛。2018 年，文献[7]使用自注意力机制来增强序列标注模型的全局表示能力，从序列标注任务端减少汉文分词对随后翻译对影响的方法。……