张禹尧,蒋玉茹,毛 腾, 张仰森

(北京信息科技大学 智能信息处理研究所，北京 100101)

0 引言

机器阅读理解是当下自然语言处理的一个热门任务，也是一项十分具有挑战性的任务。在该任务中，机器需要在给定上下文和问题的基础上，发现上下文与问题之间的联系并给出最终答案。根据具体的任务类型划分，可以将任务细分为完形填空式阅读理解任务和片段抽取式阅读理解任务。

近年来，已有很多深度学习模型在片段抽取式机器阅读理解任务上取得了较好的成绩，其中比较典型的模型是包含推理过程的阅读理解模型，它的成功主要归结于两点[1]: ①多跳结构: 这种结构允许模型多次计算文档上下文与问题之间的关联，随着层次加深，能获得更深层次的关联信息表示; ②注意力机制: 注意力机制允许模型更关注重要的信息。将这两种方式结合起来后，模型会进行多轮的计算，并在每轮计算中借助注意力机制调整信息的权重，达到推理的效果，从而取得较好的成绩。

目前为止，典型的基于多跳模型结构与注意力机制的模型(GA reader、IA reader[2]、 ReasoNet[3])都采取了类似的方式，即通过多轮的迭代以及注意力机制来实现推理，不断缩小答案的范围。本文认为这些将多跳结构和注意力机制结合起来的方式仍存在着一定的改进空间，因此，本文将聚焦于如何尽可能发挥注意力机制在多跳模型中的作用，并提出了一种基于多重联结机制的注意力模型(MCA-Reader)。与现有的类似模型不同，本文提出的模型不再是通过多轮迭代来逐步缩小答案的范围，而是通过使用多重联结机制，给予每轮迭代不同的含义，使其能挖掘出不同的特征信息。……