一种基于端到端模型的中文句法分析方法
2021-06-22邵帮丽奚雪峰付保川
苏州科技大学学报(自然科学版) 2021年2期
关键词:模型
杨 颢,徐 清,邵帮丽,奚雪峰*,付保川
(1.苏州科技大学 电子与信息工程学院,江苏 苏州 215009;2.苏州市虚拟现实智能交互及应用技术重点实验室,江苏 苏州 215009;3.苏州市公安局,江苏 苏州 215131)
句法分析作为自然语言处理中的一项核心任务,对信息抽取、自动问答及机器翻译等自然语言处理上游任务起着重要的作用。句法分析就是识别出句子中所包含的句法单位以及句法单位之间的相互关系,并将分析结果自动表示成句法树结构。其主要工作可看作是从连续的句子线性序列到具有形式化树结构的转换任务[1]。
句法分析工作最早开始于20 世纪50 年代,人们在进行机器翻译任务研究时发现必须找到一种更深层次的句子表达方法,便开始了自然语言句法结构分析任务的研究。目前的句法分析方法主要分为基于规则和基于统计两大类[2]。英文句法分析任务开始较早,同时有认可度较高的数据集支持,其中具有代表性的如美国宾夕法尼亚州大学标注的宾州树库[3],因此新的算法往往首先在英文数据集上进行实验,最终延伸到其他语言的研究。Cross 等人[4]结合LSTM 神经网络基于句子成分的跨度(span)提出了一个移进归约的系统,在英文宾州树库上的实验结果F1值为91.30%,法语上F1值为83.31%;Socher 等人[5]则使用了一个结构递归的神经网络(Recursive Neural Network,RNN)来学习句法树中的递归结构,也取得了一些成果;Hall 等人[6]提出直接从句法树表层提取有效特征而不是通过分析句法树内部标记关系,将句法分析工作的难点转化成了特征工程,从而不需要考虑句法问题,大大降低了句法分析算法的复杂度,其F1值达到了89.2%。……
登录APP查看全文
