宗勤勤，李茂西

(江西师范大学，计算机信息工程学院，江西 南昌 330022)

0 引言

近年来，基于Transformer[1]的编码器—解码器结构抛弃了传统的CNN[2]层和RNN[3]层，完全利用注意力机制实现序列转换任务，极大地提高了机器翻译的质量、训练效率和系统的并行性。

尽管Transformer编码器并行地读取源语言句子中每个词语，使用自注意力机制使每个词均由其上下文进行表示；但是，其解码生成机器译文是自左向右单向的，译文中当前位置词的生成只能根据已翻译的历史信息和源端信息来预测。由于词的依存关系包括上文和下文，因此，一些情况下利用已翻译的上文信息不足以准确预测目标词，尤其是决定当前位置词的依赖信息位于未翻译的下文时，极易导致出现词语搭配不当等翻译错误。表1给出具体示例来解释这种情况，给定源句“He was wearing a hat.”，当解码“wearing”这个词时，解码器只会利用译文中已生成的前文信息“他”，而不能利用对其生成更重要的未翻译后文信息“帽子”，导致生成的词“穿”与后文的词“帽子”搭配不当。针对这种情况，我们探索将已解码生成的机器译文作为目标语言的近似上下文，重新对其中每个词依次进行重解码，在本例中即利用已生成的机器译文“ 他 穿了 一个 帽子。”中“穿”的后文信息“帽子”将词“穿”校正为词“戴”，通过这种方式提高机器译文质量。

表1 Transformer解码器自左向右生成机器译文容易导致翻译错误的简单示例

为了利用已生成的机器译文作为目标语言的近似上……