曹卫东，李宏伟，王怀超

(中国民航大学 计算机科学与技术学院，天津 300300)

0 引 言

在自然语言处理和人工智能研究中，机器阅读理解注重考察对自然语言的理解能力和推理能力，是一项具有挑战性的任务。近年来，已经开发了一些基准数据集来测量和加速阅读理解技术的进步[1-3]。SQuAD数据集是目前最流行的问答式数据集。针对SQuAD数据集，基于注意力的神经网络模型已经成为阅读理解自动问答的一项普遍的研究课题。Vinyals等[4]使用指针网络调整输出序列的长度，以此高效地预测文档中的答案边界。Wang和Jiang[5]使用匹配注意力建立带有问题查询感知的文档向量表示，汇总关于问题的文档表示。Microsoft Asia Natural Language Computing Group[6]使用门控注意力获取更多与文档相关的问题信息，忽略无关信息。但是这些模型无法利用单向注意力将上下文信息融入问题中。Xiong等[7]提出的动态协调网络可以同时为文档和问题生成注意力，实现问题和文档信息的交互。Seo等[8]使用双向注意流对多粒度的问题-文档对进行建模，增强模型的语义表示能力。然而，这些模型忽略了使用循环神经网络聚合长文本序列导致的信息丢失问题，影响了模型的性能。Clark等[9]通过从文档中抽取多个段落进行阅读的方式获取答案，缩短了训练时间，但是可能导致文档中的重要信息未能被机器读取，从而降低准确率。

针对以上问题，本文借助自适应调整和多级注意力机制，充分模拟人类进行阅读理解时带着问题读文档、带着文档读问题的阅读方式，提出了一种基于协同注意力和自适应调整的阅读理解模型。……