基于BERT的因果关系抽取
2021-11-26左万利
姜 博, 左万利,2, 王 英,2
(1. 吉林大学 计算机科学与技术学院, 长春 130012; 2. 吉林大学 符号计算与知识工程教育部重点实验室, 长春 130012)
自然语言处理(natural language processing, NLP)中的关系抽取是人工智能相关领域中的重要研究方向. 其中, 因果关系抽取作为自然语言和人工智能领域中的重要问题目前已得到广泛关注. 因果关系, 即表示“原因”与“结果”之间的对应关系. 实际应用中存在大量的因果关系, 如新闻报道: 截至2020年9月18日16时01分, 全球〈e1〉新冠肺炎〈/e1〉确诊超3 000万例, 导致943 433人〈e2〉死亡〈/e2〉. 标签〈e1〉和标签〈e2〉间的实体存在因果关系.
传统因果关系抽取方法通常基于模式匹配[1]、机器学习[2]等方法, 文献[3]提出了一种新型朴素Bayes模型, 可从文本中提取显式因果关系. 传统模式下因果关系抽取方法的特征选择繁琐复杂、抽取模式较固定, 从文本中抽取的因果关系精确度较低. 近年, 人们开始使用深度学习的方法研究因果关系抽取, 一般从以下3个角度研究: 给定实体对判断是否包含因果关系, 给定文本判断是否包含因果关系分类和识别并标记包含因果关系的文本. 文献[4]通过卷积神经网络(convolutional neural network, CNN)识别文本中的因果关系并进行了分类; 文献[5]通过融合对抗对学习对文本中的因果关系对进行抽取; 文献[6]通过双向长短期记忆网络(bidirectional long short-term memory, BiLSTM)标记出文本中的原因、结果, BiLSTM模型能获取跨度较大的数据特征, 标注数据更准确. 现有的序列标注方法有隐Markov模型(hidden Markov model, HMM)[7]、条件随机场 (conditional random field, CRF)[8]等. 文献[9]将BiLSTM+CRF 模型应用到序列标注任务中, 目前已成为序列标注任务中的主流模型;……