徐家伟,刘瑞芳,高升,李思

(1.北京邮电大学人工智能学院,北京100088;2.北京邮电大学模式识别与智能系统实验室,北京100088)

0 引言

中文机器阅读理解是一个充满挑战的任务,其要求模型对自然语言有深刻的理解。而完形填空任务[1]是机器阅读理解的一种特殊形式,它要求模型联系上下文从备选词或句中选择合适的选项填入指定位置。由于其形式简单,完形填空任务作为一种经典的评估模型语言理解能力的方法被广泛使用[2]。

本文主要探究中文成语理解的完形填空任务[3]。成语作为一种特别的语言现象,在中国已经演化了上千年。其中大量的成语构成不遵循常规的语法结构,并且相当一部分成语具有隐喻的意义。同时一些成语也存在看似相同但语义完全不同的情况。这些因素使得在完形填空中选择正确的成语变得极具挑战性[4]。

过去几年中,已有一些深度模型被用于机器阅读理解任务,包括BiLSTM[5]模型,Stanford Attention Reader[6]模型及近年大热的BERT[7]预训练语言模型等。这些深度学习模型可以被训练用来完成中文完形填空任务。其中微调的BERT 模型可以得到强于其他模型的效果。

尽管微调的BERT 模型表现出色,但让模型在不同的语境中找到成语关注的重点依然很困难。在微调BERT 模型的基础上,本文引入了全局注意力机制去试图捕获那些影响了模型决策过程的关键词语。通过观察其中的全局对齐权重,我们发现,模型关注的文本重点常常不够精确,甚至是错误的。……