基于动态损失函数的远程监督关系抽取
2021-03-13彭正阳于碧辉
小型微型计算机系统 2021年2期
关键词:模型
彭正阳,吕 立,于碧辉
1(中国科学院大学,北京 100049)
2(中国科学院 沈阳计算技术研究所,沈阳 110168)
1 引 言
关系抽取是信息抽取中的一项重要工作,其目的是抽取句子中标记实体对之间的关系.关系抽取属于构建知识图谱的关键步骤,且已经广泛应用于自动摘要、问答系统及检索系统中.
传统的监督方法需要大量的人工劳动来标记原始数据,价格昂贵且耗费时间.因此,Mintz等人[1]在2009年提出了远程监督.远程监督的描述如下:如果知识库中两个实体表达了一个关系,那么任何包含这两个实体的句子都可以表达这种关系.远程监督是一种快速、有效的对大量数据进行自动标注的方法.然而,这种假设太过强烈,容易导致错误标注.因为某句中提到的两个实体,它们之间的关系可能并不是知识库中对应的关系.
为了解决错误标注问题,2015年,Zeng等人[2]对于每个实体对,选择数据集中最有可能表达该实体对对应关系的一个句子作为代表来进行训练,这必然会遗漏一些有价值的信息.2016年,Lin等人[3]对一个实体对对应的所有句子进行基于注意力机制的权值计算,通过对错误的句子进行降权处理来减少错误标注带来的不良影响.2017年,Ji等人[4]通过将更多有用的实体信息引入到注意力权重的计算中,来提高注意力机制的效果.然而,仍然存在一些噪音句子被赋予很大的权重,并且大量简单句子累计的权重也影响到模型的效果.
本文提出了一种动态损失函数……
登录APP查看全文
