朱相荣，王 磊*，杨雅婷，董 瑞，张 俊

（1.中国科学院新疆理化技术研究所，乌鲁木齐 830011；2.中国科学院大学，北京 100049；3.中国科学院新疆理化技术研究所新疆民族语音语言信息处理实验室，乌鲁木齐 830011）

（*通信作者电子邮箱wanglei@ms.xjb.ac.cn）

0 引言

编码器-解码器架构是神经机器翻译（Neural Machine Translation，NMT）的核心思想［1］。基于神经网络的编码器-解码器架构在机器翻译中取得了很好的性能，并提出了不同的网络结构，例 如：Sutskever 等［2］提出的循环神经网络（Recurrent Neural Networks，RNN），Gehring 等［3］提出的卷积神经网络（Convolutional Neural Network，CNN）以及Vaswani等［4］提出的基于注意力机制的Transformer。虽然它们都取得了不错的翻译性能，但由于解码器均采用自回归解码影响了翻译速度的提升。如图1 所示，在自回归解码过程中目标句子根据源句子表示和目标翻译历史从左到右逐字翻译生成，即第t标记yt遵循条件分布p(yt|x，y＜t)，其中y＜t表示yt之前生成的所有标记。由于每次只执行一个步骤，根据之前生成的序列生成下一个序列，使得解码不容易并行化。尤其对于支持并行的现代硬件来说很不友好，产生的解码延迟严重阻碍了NMT 系统的翻译速度，限制了现实场景中的应用。相反，非自回归模型并行生成目标标记，没有可用的目标翻译信息使得翻译效果不是很好，但它能显著减少解码时间，使得图形处理器（Graphics Processing Unit，GPU）的计算能力得到充分发挥。因此，有效地提升模型解码速度变得尤为重要。

近年来为了减少自回归解码带来的解码延迟，研究人员们尝试了各种方法。Schwenk［5］提出一个连续空间翻译模型来估计给定源短语在目标短语上的条件分布，同时丢弃目标标记之间的条件依赖性，然而仅限于不超过7 个单词的短语对。……