采用多尺度注意力机制的远程监督关系抽取
2018-04-04郝佳云李海生
蔡 强,郝佳云,曹 健,李海生
(1. 北京工商大学 计算机与信息工程学院,北京 100048;2. 北京工商大学 食品安全大数据技术北京市重点实验室,北京 100048)
0 引言
信息抽取技术在自然语言处理领域十分重要。关系抽取作为信息抽取的重要分支,用来识别文本中实体预先定义的语义关系[1]。即对于实体对e1和e2,二者之间相关关系可以形式化地表示为三元组形式
近年来,深度学习在很多自然语言处理任务中取得了较好效果,因此大量算法采用深度学习的方法进行特征提取以及关系抽取。2012年,Socher[2]提出使用递归神经网络来解决关系分类问题,通过递归神经网络得到句子向量表示,从而用于关系分类。之后,Zeng[3]等人采用卷积神经网络结合词向量及词语位置信息进行关系分类。虽然这些方法取得了较好效果,但是在对模型进行训练时需要大量标注数据,耗费了大量的人力物力。因此,本文重点研究远程监督方法。
远程监督关系抽取首次由Craven[4]等人提出,利用知识库信息来发现蛋白质与细胞/疾病/药物之间的关系。Mintz[5]等人通过将知识与文本集对齐来进行大规模关系抽取。但是,错误标签引入了大量噪声,因此文献[6]提出了使用多示例学习的远程抽取策略,大规模减少了人工标注数据的工作,但是由于在句子编码时未充分利用句子中重要的语义信息,抽取结果准确率并不高。……
