李芳芳,任星凯,毛星亮,林中尧,刘熙尧

(1.中南大学计算机学院,湖南长沙410083;2.移动医疗教育部-中国移动联合重点实验室,湖南长沙410028;3.湖南工商大学大数据与互联网创新研究院,湖南长沙410205)

0 引言

随着深度学习的快速发展,机器阅读理解这一能测试机器对于自然语言理解程度的任务成为自然语言处理领域的研究热点之一。根据返回的答案类型不同,可以将机器阅读理解任务划分为四类[1]:完形填空、多项选择、片段抽取及开放式问答,四项任务难度依次增大。

预训练模型及注意力机制是自然语言处理领域近几年的研究热点,得益于上述两者的快速发展,越来越多的深度学习模型结合预训练模型及注意力机制在阅读理解任务上取得了不俗的表现。传统的基于规则的模型需要人工构建复杂的特征工程,这类模型不仅耗时,并且对于不同的任务需要设计不同的特征工程。而经过大量语料训练得到的深层预训练模型可以取代特征工程的作用,并且通过海量语料的预训练,模型对下游任务有更加强大的泛化能力,使其可以与不同的下游任务相结合,这样不仅减少了研究人员的工作量,还会大大提高精度。此外,机器阅读理解模型中的“问题-文章”交互模块对于模型最终能否推断出正确答案十分重要,注意力机制的出现使得阅读理解模型能更好地挖掘文章与问题之间的相关性,进而模拟人类阅读习惯,更关注文章及问题中重要的部分,得到更加准确的结果。……