孙 驰,杜军威,李浩杰

(青岛科技大学 信息科学技术学院，山东 青岛266061)

近年来，自然语言处理的不同子任务中，基于深度学习的模型不断刷新相关任务的性能记录[1]。子任务中，机器阅读理解则一直被认为是NLP的标志性临界点，其目标是让机器同人一样，可以阅读并理解文本，回答有关该文本的问题。机器阅读理解在智能问答、智能搜索、语音控制、构建知识库等方面具有广阔的应用前景[2]。

从数据集的类型出发，可以将阅读理解划分成完形填空型[3]和区间抽取型[4]等。其中，完型填空类的代表数据集为CNN/Dailymail[5]，而区间抽取型的代表包括斯坦福RAJPURKAR等2016年发布的SQu AD[4]以及微软发布的MS MARCO[6]。完形填空型数据集中的文本均经过精心处理，提前挖空。要求模型根据空位前后上下文预测缺失词，解决这类问题大部分只需获取空位局部的上下文就能很好解决问题，不需要捕捉文本全局信息。因此，模型离真正理解文本还有很大距离。而区间抽取型的数据集[7-8]则是基于真实问答数据集构建的，例如SQu AD数据集根据维基百科语料，采用人工提问题的形式进行构建。区间抽取型数据集要求模型根据问题从候选文本中抽取出答案区间，解决这类问题通常要捕捉全局上下文信息，对文本有全局理解。

SQu AD数据集发布之前，研究者在完形填空式数据集上展开工作。HERMANN等[9]借鉴机器翻译和计算机视觉领域的注意力机制，在模型中引入问题和文本对应向量的权重交互层，捕捉问题和文本之间的注意力信息，第一次将注意力机制引入到机器阅读理解领域。……