利用深度神经网络并结合配价信息的语义角色标注
2022-08-29袁里驰
小型微型计算机系统 2022年9期
袁 里 驰
(江西财经大学 软件与物联网工程学院,南昌 330013)
E-mail:yuanlichi@sohu.com
1 引 言
语义角色标注即识别谓词和给定谓词的参数并为其分配语义角色标签.由于具有对语义信息进行编码的能力,语义角色标注(SRL)已被应用于自然语言处理的许多任务,例如自动问答、信息提取和机器翻译等.语义角色与语法紧密相关,因此,传统的 SRL 方法在很大程度上依赖于句子的句法结构,这些内在的复杂性限制了系统只能基于特定领域.SRL 的传统方法通常从句子中提取大量手工特征,甚至是它的解析树,并将这些特征提供给统计分类器.然而传统方法还存在另外2个主要问题:首先,它们的性能在很大程度上依赖于特征工程,这需要领域知识和繁重的特征提取和选择工作.其次,虽然设计了复杂的特征,但很难对句子中的长距离依赖进行建模.
深度神经网络[1-7]能够自动获取特征,明显地降低特征工程的工作量,近年来,它在语言信息处理领域得到了广泛的应用.Transformers 的双向编码器表示(BERT)[8]已变得非常流行,并在最近的 NLP 研究中被证明是有效的,该研究利用大规模未标记的训练数据并生成丰富的上下文表示,显示出其在各种自然语言处理任务上的强大性能.近年来,没有句法输入的 SRL 端到端模型取得了可喜的成果[9,10].Zhou and Xu[9]引入了堆叠长短期记忆网络并取得了当时最好的结果.He等[10]使用具有约束解码的深度高速双向长短期记忆网络和循环dropout,将语义角色标注视为BIO 标记问题.该……
登录APP查看全文
