事件抽取研究综述

2023-02-05张聪聪都云程张仰森

计算机技术与发展 2023年1期

张聪聪，都云程，张仰森,2

(1.北京信息科技大学计算机学院，北京 100101；2.北京信息科技大学智能信息处理研究所，北京 100101)

0 引言

事件不仅是社会活动的驱动力，也是社会活动的载体。它作为一种信息表示形式，在自然语言处理中起着重要作用。ACE国际评测会议将事件定义为:发生在某个特定时间点或时间段，某个特定地域范围内，由一个或者多个角色参与的一个或多个动作组成的事情或者状态的改变[1]。

事件抽取是构建事理图谱[2]的重要任务之一，主要研究从非结构化的自然语言文本中自动抽取用户感兴趣的事件信息并以结构化的形式呈现，这对人们认知世界有着深远的意义，是信息检索、事理图谱构建等相关应用的基础。早期的事件抽取任务主要采用模式匹配的方法，随着机器学习和深度学习的发展，使用特征工程和神经网络的方法进行事件抽取受到越来越多的关注，事件抽取效果也随之提升[3]。

首先，简要叙述事件抽取的主要任务和评测指标；接着，对现有的事件抽取方法(基于模板匹配、机器学习)分别进行了详细介绍；最后，概述事件抽取现阶段的挑战以及未来的发展趋势。

1 事件抽取任务简介

根据事件的复杂程度可以将事件抽取划分为两类：元事件抽取和主题事件抽取[4]。元事件指一个动作的发生或该动作状态的改变。元事件抽取工作主要是识别该行为中参与的元素(如时间、地点、人物等)。而主题事件通常包含一系列元事件片段，这些事件片段都是基于某个核心的元事件并与之相关。现阶段，事件抽取工作主要针对的是元事件的抽取，主题事件的抽取还处于起步阶段。

事件抽取的主要工作是通过事件类型的识别获取到相应的事件元素，并给这些事件元素分配角色。具体流程如图1所示。

图1 事件抽取流程

2000年，美国国家标准技术研究所(National Institute of Standards and Technology，NIST)首次举办了ACE评测会议，并在2005年将事件抽取任务纳入ACE评测会议，该会议是目前国际上公认最具影响力的事件抽取公开评测会议[2]。ACE评测会议将事件定义为行为的发生或动作状态的改变，并将事件抽取划分为事件检测和元素识别两个子任务[1]。其中，事件检测是指通过检测文本中的事件触发词来判断事件类型，每个事件类型都唯一对应一个事件表示框架。例如，竞赛-胜负类型的事件表示框架是{赛事名称，胜方，败方}。元素识别则是根据事件表示框架识别文本中是否存在相应的事件元素，并为其分配角色。事件抽取工作包括识别事件触发词、事件类型、事件元素、元素角色[4]等。相关的术语说明如下:

实体：语义范畴中的一个或一类对象，包括人名、地名、组织名、载体名等。

事件提及(event mention)：表示事件的短语或句子，包括事件触发器和事件元素[5]。

事件触发词(event trigger)：最能准确表达事件发生的关键词通常是动词或名词[6]。

事件元素(event arguments)：涉及特定事件的要素，包括概念、实体、价值、时间等。

元素角色(argument roles)：事件元素与其涉及事件之间的关系。

在例句1中，事件抽取任务需要检测到一个生活(life)类型和出生(born)子类型的事件，其中，事件触发词为“出生”，事件元素有“库里”、“1988年”、“美国阿克伦”，其对应的元素角色是“人物”、“时间”、“地点”，具体内容如图2所示。

图2 事件抽取样例

目前，事件抽取任务中经常使用DuEE数据集，这是一个用于真实场景中的中文事件提取(EE)的新数据集。与以前的事件抽取数据集相比，DuEE有几个优点。(1)规模：DuEE包含19 640个事件，分为65个事件类型，以及映射到121个参数角色的41 520个事件参数，据我们所知，这是迄今为止最大的中国EE数据集。(2)质量：所有数据均经过人工标注，众包审核，确保标注准确率高于95%。(3)真实性：架构涵盖百度搜索的热门话题，数据来自百家号新闻。该任务也接近现实世界的场景，例如，允许单个实例包含多个事件，允许不同的事件参数共享相同的参数角色，并且允许一个参数扮演不同的角色。

2 事件抽取效果评测

当前关于事件抽取的效果评测方法主要有两种：基于召回率与准确率的微平均值法和基于丢失率与误报率的错误识别代价法。

(1)基于召回率与准确率的微平均值法。其中，P为准确率，即被系统标注为正确结果的总数和系统所有标注结果总数的比值，R为召回率，表示被系统标注为正确结果的总数与文本中标准标注结果总数的比值[7]。F1表示P值与R值的综合度量。

其公式如下：

F1=2PR/(P+R)

(1)

(2)基于丢失率和误报率的错误识别代价方法[8]。其中，Cmiss是一次损失的成本，Cfa是一次误报的成本，L是损失率，M是误报率，Ltar是系统对先验概率的正面判断，通常根据具体应用设置为一个常数。C是错误识别的代价，公式如下:

C=Cmiss*L*Ltar+Cfa*M*(1-Ltar)

(2)

上述两种效果评测方法之间不存在简单的反比关系，因此在分析两种不同算法采用不同评估方法进行效果评测时，应进行适当的转换。

微平均值法通常用于单一事件的提取任务，如紧急情况、财务信息等。对于主题跟踪任务，人们通常对系统做出的错误判断比准确率更敏感。这些错误包括：应为“是”的，判断为“否”(丢失)，应为“否”的，判断为“是”(错报)。因此，错误识别代价法通常被用作效果评价方法。此外，在实际应用中，各种事件抽取算法不仅要考虑识别结果的准确性，还要考虑算法的复杂性和可实现性。一些提取效果好的算法往往会牺牲时间。另外由于硬件要求高或训练时间长，一些算法可能无法实现。

3 事件抽取研究方法

事件抽取工作主要是从非结构化文本中识别和提取事件信息，然后对其进行结构化表示。该文对事件抽取方法进行了梳理，总体上可以把事件抽取的实现方法划分为两种：(1)基于模式匹配的事件抽取方法；(2)基于机器学习的事件抽取方法；其中基于机器学习的方法又包括浅层机器学习与深度学习两种。本节最后对上述两种方法的抽取效果进行对比。

3.1 基于模式匹配的事件抽取

基于模式匹配的事件抽取方法是利用事件模板，进行事件检测和元素提取。其中，事件模板可看作表示目标信息的上下文约束环境。使用模式匹配的方法进行事件抽取需要从模式库中提取相应模式，然后将要抽取的事件语句与相应的模式进行匹配，从而获取事件元素。具体流程如图3所示。

图3 基于模式匹配的事件抽取流程

早期的模式匹配方法，使用这种流程便可以轻松地抽取某一个领域的信息。然而随着事件抽取在诸多领域的应用，模式匹配技术依赖于人工制作领域特定词典这一问题，严重阻碍了事件抽取的发展。如何自动构建相关领域的词典成为这一时期模式匹配技术急需解决的问题

1993年，Riloff等人[9]开发了一个名为AutoSlog的系统，该系统能够自动构建特定领域的概念词典，然后从文本中提取信息。1995年，Kim等人[10]开发出PALKA(并行自动语言知识获取)事件抽取系统，该系统从一组特定领域的训练文本及其所需的输出中获取语言模式，利用语义框架和短语结构进行事件抽取，解决了模式匹配方法难以扩展和移植的问题。

2005年，Stevenson等人[11]提出了一种新的获取信息模式的方法。该方法假设有用的模式与那些已经确定的相关模式具有相似的含义，通过标准向量空间模型的变体比较模式，使用来自本体的信息捕获语义相似性，与之前的方法相比，该方法的F1值提高了2%。2015年，Kai Cao等人[12]研究模式扩展技术，通过导入从外部语料库中提取到的通用模式来提高事件抽取性能，实验结果表明，具有扩展模式的模式匹配方法F1值为70.4%，高于基线1.6百分点。

总的来说，模式匹配的方法在某些特定的领域能够取得不错的效果，但是通过该方法实现的系统很难被应用到其他领域。原因是系统从一个领域到其他领域的移植需要重构匹配模式，而重新构建模式这个过程既耗时又费力，并且还需要领域专家的协助。虽然将统计模型引入模式匹配方法可以在一定程度上加快模式的获取，但不同模式之间的冲突也是一个棘手的问题。此外，现有对语义程度的研究大多停留在句法层面，还有待进一步提高。鉴于上述存在的问题，基于机器学习的方法应运而生。

3.2 基于机器学习的事件抽取方法

基于机器学习的事件抽取方法包括浅层机器学习与深度学习两种。

3.2.1 基于浅层机器学习的方法

基于浅层机器学习的事件抽取方法具有较高的可移植性和灵活性，其本质是将事件抽取转化为分类问题，而分类问题的主要任务是选择适当的特征，构造合适的分类器。分类器通常是基于统计模型构建，在基于浅层机器学习的事件抽取中主要应用到的统计模型有：最大熵模型、隐马尔可夫模型、条件随机场模型和支持向量机模型[13]。

事件抽取任务中首次应用到最大熵模型是在2002年，Chieu等人[14]在事件元素的识别中运用该模型，抽取演讲公告和人员管理事件。随后H. Llorens[15]在语义角色注释中引入了条件随机字段模型(CRF)，并将其应用于TimeML事件抽取中。研究人员发现结合多种机器学习算法能够提高事件抽取的效果。2006年，David Ahn[16]提出了一种简单的、模块化的事件抽取方法，该方法将事件抽取划分为一系列分类子任务，每个分类子任务由机器学习分类器进行分类，进而评估这些子任务对整体任务性能的影响。

2008年，赵妍妍等人[17]为解决训练模型中的数据不平衡和少量训练数据带来的数据稀疏问题，提出了一种事件触发扩展和二元分类器相结合的方法，在参数识别步骤中，引入了基于最大熵的多分类方法，最终该事件抽取系统取得了较好的性能。基于此，2011年Yu Hong等人[18]提出了一种新的事件提取方法，他们利用跨实体推理将实体类型一致性视为预测事件提及的关键特征，通过这种推理方法改进了传统的句子级事件抽取系统。

早期基于浅层机器学习的事件抽取通常将事件与实体分开建模，并在句子级别执行推理，这种做法忽略了文档的其余部分。为解决该问题，2016年，Bishan Yang[19]提出了一种新的方法，对事件、实体及其关系的变量之间的依赖关系进行建模，并在文档中对这些变量进行联合推断，目标是允许访问文档级上下文信息并促进上下文感知预测。实验证明，该方法在ACE数据集上表现出了很好的效果。

上述方法虽然在某些程度上取得了长足的进步，但是这些方法的实现依赖于大规模的标注训练语料库。如果训练语料不足或类别单一，会严重影响事件的抽取效果，因此，语料库的建设成为了一项重要任务。由于语料库的建设需要大量的人力和时间，为了解决这个问题，研究人员进一步探索了基于深度学习的事件抽取方法。

3.2.2 基于深度学习的事件抽取方法

深度学习即使用深层神经网络的机器学习，与浅层神经网络相比，深层神经网络具有更好的特征学习能力，通过抽象数学的无监督逐层预训练，可以更有效地表征原始数据的基本特征。Zhang Yajun等人[20]在2017年建立了基于深层神经网络的事件识别模型，该模型利用BP神经网络对事件进行识别，通过深层神经网络抽取词的深度语义信息。同时，他们还提出了一种混合式监督深层神经网络，该网络将有监督与非监督学习方法相结合，既可以提高识别效果，也可以控制训练时间。

随着对深度学习研究的深入，卷积神经网络(CNN)[21]、递归神经网络(RNN)[22]、图神经网络(GNN)[23]、transformer模型[24]等相继被应用到事件抽取任务中。例如，2015年，Nguyen等人[25]使用卷积神经网络(CNN)进行事件检测，克服了传统基于特征方法的两个基本限制：复杂的特征工程和错误传播。随后，Chen Yubo等[26]在此基础上提出了一种动态多池卷积神经网络(DMCNN)，该方法通过引入词表示模型获取词的语义特征，然后采用卷积神经网络(CNN)模型获取句子级特征，并根据事件触发器和参数使用动态多池层，以保留更多关键信息，有效解决了CNN网络只能捕获句子级特征这一缺点。

递归神经网络(RNN)在命名实体识别等任务上取得的成功，显示了其模型能够处理不定长序列问题的能力。RNN模型由输入层x、隐藏层h和输出层y组成，其中隐藏层h是指RNN内部的状态网络，其结构如图4所示。

在t时刻，ht表示当前隐藏层输入，它由当前时刻的输入xt和上一个隐藏层的输出ht-1组成，而ht-1则包括了前一时刻的输入信息以及上一个隐藏层中的信息。这样，通过添加前一时刻输入的隐藏层，增加了序列的历史信息，从而可以利用距离获取更长的句子信息。

图4 RNN模型结构

2016年，Ghaeini[27]使用RNN处理多词事件，这也是RNN在事件抽取任务中的首次尝试。随后Lin[28]等人采用改进的RNN模型，针对领域事件抽取中的语言特定问题，提出了一个卷积双向LSTM神经网络，该模型结合了LSTM和CNN，在没有任何手工特征的情况下捕获句子级和词汇信息，然后在ACE 2005数据集上进行实验，最终该方法在触发标记和参数角色标记方面取得优异的性能。

随着事件抽取技术的不断发展，面向中文领域的事件抽取也受到了更多的关注，中文领域的事件抽取一般使用词嵌入来捕获相似性，但在处理稀有词或以前未出现过的词时会受到影响。研究者通过测试发现，字符能够提供一些无法从句子中获取的信息。鉴于上述问题，张俊一[29]基于注意力机制和语义特征，提出了一种结合词表征的新结构—字词嵌入。该方法通过使用注意力机制，从单词或字符级别的嵌入中动态决定使用多少信息，然后借助语义特征，从句子中获得更多关于单词的信息。2017年，Duan Shaoyang等[30]考虑到句子的局部上下文不足以解决识别特定事件类型的问题，提出了一种文档级递归神经网络(DLRNN)模型，该模型可以自动提取跨句线索以改进句子级事件检测，而无需设计复杂的推理规则。

前一阶段的事件抽取，主要是对简单句的抽取，即一个句子包含一个事件。但一般情况下，一个句子中存在多个事件是一种普遍现象，抽取这类事件比抽取单个事件更为困难。早期对包含多个事件的句子进行抽取时，通常采用顺序建模的方法表征事件之间的关联，这种方法在捕获具有长依赖关系的事件上效率低下。于是在2018年，Xiao Liu等人[31]提出了一种联合多事件抽取(JMEE)框架，即通过引入句法快捷弧来增强信息流，然后采用基于注意力的图卷积网络对图信息进行建模，从而联合抽取出多个事件触发器和参数。在提取事件参数时，现有的提取方法会严重依赖实体识别作为预处理/并发步骤，从而导致错误传播。为了避免此类问题，Du Xinya等人[32]在2020年引入了一种新的事件抽取范式，将其表述为问答(QA)任务，它以端到端的方式抽取事件参数，而且还能对训练中未出现的角色抽取事件参数。在此基础上，2021年Emanuela Boros[33]提出了一种改进的事件抽取范式，从而将事件抽取任务转换为具有多个答案可能性和实体支持的问答(QA)问题。该方法基于预训练和微调的语言模型，通过在不同级别标记的实体、实体位置、实体类型以及最后的参数角色对输入上下文进行扩充。

事件检测(ED)作为事件抽取的子任务对其性能的好坏有着重要作用，最近针对事件检测的研究表明，句法依赖图可用于图卷积神经网络(GCN)以实现事件抽取的最优性能。然而，在这种基于图的模型中，隐藏向量的计算与候选触发词并无关联，甚至会为事件预测时的候选触发词产生多余的信息。此外，当前的事件检测模型不能利用依赖树获得单词的整体上下文重要性分数来提高性能。鉴于上述问题，Nguyen[34]提出了一种新的门控机制，用于根据候选触发词的信息，过滤事件检测中GCN模型隐藏向量的噪声信息。

综上所述，基于深度学习的事件抽取方法不仅克服了浅层机器学习的局限性，还能够学习到更多抽象的数学特征，使数据具有更好的特征表达，从而实现文本事件的有效抽取。

3.3 典型事件抽取技术效果对比

通过对上述事件抽取技术发展过程的梳理，可以发现该项技术一直在不断发展和完善过程中，从基于模板的抽取技术，到基于浅层机器学习的抽取技术，再到基于深度学习的抽取技术，事件抽取效果不断得到提升，这种提升的过程也可以通过量化的评测指标体现出来。表1列举了三种事件抽取实现方法中的代表性算法在ACE2005数据集上的抽取效果。

表1 典型事件抽取方法效果对比

通过表1可以看出，基于模式匹配的事件抽取方法的F1值可以达到70%左右(Kai Cao等[12]基于模式扩展的模式匹配方法)，基于浅层机器学习的事件抽取方法，其F1值可以达到75%左右(Yu Hong等[18]连接实体及事件关系的抽取方法)，而基于深度学习的事件抽取方法[35]，F1值则能够达到80%以上(基于PLM预训练模型的事件抽取方法)。

与浅层机器学习和模式匹配方法相比，深度学习模型可以更有效地捕获数据特征，因此，深度学习成为了当下事件抽取领域的主流方法。利用深度学习模型解决数据缺失的问题将为后续研究提供必要的支持。