李志峰，邹博伟，李烨秋，金志凌，洪宇*

（1.苏州大学 计算机科学与技术学院，江苏 苏州 215000；2.新加坡资讯通信研究院，新加坡 999002）

0 引言

常识即人类社会对同一事物普遍存在的日常共识，常识推理在日常生活中扮演着重要的角色，而常识问答任务考验的正是模型的常识推理能力。本文聚焦多项选择式常识问答，这类任务需要模型针对给定的问题进行推理，从而选择最为贴切的答案，与之相关的数据集如OpenbookQA［1］、CommonsenseQA［2］（ 简 称CSQA）等。区别于机器阅读理解和事实性问答等传统问答任务，常识问答通常只给出题干，而没有给出相关的背景知识。表1列举了CSQA数据集中的一个样本，所有候选答案都与问题描述的沟通场景存在关联性。回答该问题，模型不仅要理解问题和选项的语义，还需要具备相关知识，如“老板需要员工向他汇报消息”，才能推理出正确选项B。在缺乏相关常识背景的情况下，根据问题对答案进行推理，这正是常识问答任务的难点所在。

表1 CSQA数据集中的样本示例Table 1 An example from CSQA

现有方法将预训练语言模型引入常识问答研究，如 BERT［3］、RoBERTa［4］等。训练这类模型的语料规模庞大，因此，这些模型在预训练阶段可以将一些和常识相关的语言现象编码到参数中，从而隐式地学习到同类常识的编码方式。但这类方法受制于模型自身的参数量和预训练语料所蕴含的知识量，仍存在学习和推理能力上的局限性。换言之，相较于高质量的知识库，混杂了各类数据的预训练语料，不能有针对性地引导模型学习常识之间的联系。……