刘雅璇，钟 勇*

（1.中国科学院成都计算机应用研究所，成都 610041；2.中国科学院大学，北京 100049）

（*通信作者电子邮箱zhongyong@casit.com.cn）

0 引言

随着互联网技术的不断发展以及大数据时代的来临，万维网中的各领域数据均呈爆炸式增长，尤其非结构化数据占了其中的75%以上［1］，如何从大量的非结构化数据中提取有效知识成为了目前备受关注的问题。传统的方法和数据结构已经不能满足人们对于获取信息的需求，因此，知识图谱技术应运而生。在知识图谱中，知识以三元组的形式表示，每一条知识都可以表示为一条SPO（Subject，Predicate，Object）三元组，从自然语言文本中提取关系三元组是构建大规模知识图谱的关键步骤。

随着深度学习的发展，许多学者将深度学习方法引入到关系抽取模型中，大幅提升了关系抽取的准确度［2-4］。尤其是预训练语言模型BERT（Bidirectional Encoder Representation from Transformers）［5］被提出以来，已被广泛用于包括关系抽取等各种自然语言处理任务［6-8］，它为模型提供一种通用的上下文相关的词向量表示，通过使用BERT 作为编码层可在下游模型中利用非常简单的设计达到相较其他模型更好的效果。

目前广泛用于实体及关系抽取的方法有两种：一种是流水线抽取方法，一种是联合抽取方法。流水线抽取方法把实体和关系的抽取分为两个先后独立的任务，分别是命名实体识别和关系分类，这种方法存在冗余实体推断、子任务间错误累积等问题［9］；联合抽取方法是近年来深受研究者喜爱的方法，它把三元组抽取看作一个整体任务，对一个模型进行联合训练，达到实体关系抽取相互促进的目的。……