范玚 刘秉权

摘 要：机器阅读理解任务是衡量模型对于文本信息理解程度的一种重要方式，一直以来备受关注。近年来，很多学者在这一任务上提出了自己的模型，并取得了相当不错的成绩，其中一部分甚至已经超越了人工回答的准确率。然而，这些模型是否真正地、深入地理解了文本语义，还是仅依靠浅层的词语相似度和答案类型来进行简单的搜索？为了进一步评价阅读理解模型对于文章语义的理解程度，本文提出了一种基于Transformer结构的对抗数据生成方法，并对主流阅读理解模型进行了检测。

关键词： 机器阅读理解;文本生成;Transformer结构;深度学习

文章编号： 2095-2163（2021）01-0001-07 中图分类号：TP183 文献标志码：A

【Abstract】Machine reading comprehension is an important way to measure the model's understanding of nature language. In recent years， many researchers have proposed their own models in this task， and achieved quite good results， some of which have even exceeded the human performance. However， do these models really and deeply understand human language， or simply rely on shallow word similarity and answer type to search for true answers？ In order to evaluate systems' real language understanding abilities， the paper proposes a new method of to generate adversarial data based on Transformer structure， and test the mainstream reading comprehension models on the dataset in the paper.

【Key words】machine reading comprehension; text generation; Transformer architecture; deep learning

0 引 言

近年來，随着深度学习、预训练语言模型[1-5]等先进技术的相继问世，计算机理解人类语言的能力获得了长足的进步，许多自然语言处理领域的任务都有了新的突破，机器阅读理解任务也重新受到了人们的关注。

许多学者提出了不同的机器阅读理解数据集，其中较为出名的，有斯坦福研究者提出的Stanford Question Answering Dataset（SQuAD）数据集[6]。这是一个片段抽取型的阅读理解数据集，其中共包含了536篇文章和107785个文章-问题对。许多研究者针对这一任务提出了自己的方法，其中一些优秀的模型得到的性能甚至已经超过了人工的准确度。

然而，这样的片段抽取式阅读理解任务，由于答案原文可以直接在文章中找到，并且答案所在原文中的位置附近的词汇和问句中的词汇往往具有很大的相似度[7-8]。……