谭红叶，屈保兴，李 茹

(山西大学 计算机与信息技术学院，山西 太原 030006)

0 引 言

机器阅读理解(Machine Reading Comprehension，MRC)，简称阅读理解，是自然语言处理(Natural Language Processing, NLP)领域的一项重要任务，该任务需要机器理解文本语义并回答相关问题. 近几年，阅读理解技术受到学术界和企业界的广泛关注，并且在公开发布的众多数据集的推动下取得了一系列进展. 目前的阅读理解方法主要基于深度学习框架. 如：Attentive Reader[1]，Attention Sum Reader[2]，BiDAF[3]，R-Net[4]，QANet[5]等模型都是利用多层神经网络体系架构以迭代方式不断加深对文章和问题的理解，并借助注意力机制使模型专注于文档与问题相关的部分. 还有一些模型基于大规模预训练语言模型构建，如基于BERT或XLNet的阅读理解模型[6,7]. 预训练语言模型利用迁移学习的思想，在相关任务的大数据中预训练有效的模型，然后再迁移到目标任务进一步优化，可大大提高模型的准确率. 上述基于深度学习的模型在一些阅读理解数据集上(如SQuAD[8])取得了很好的性能，但是，这些模型不能有效整合句子的句法结构、句子间长距离的语义关系等信息，从而引起模型对问题和篇章理解不够充分的局限. 图 1 为一个机器阅读理解示例，可以看出，机器需要基于句内结构对句子内容进行理解，同时还需理解句间关系才能对问题与篇章进行建模，进而正确回答所给问题.

图 1 阅读理解任务示例

受图神经网络模型在计算机视觉、自然语言处理等领域获得成功的启发，本文提出一种新的阅读理解答案预……