基于中文宾州树库的依存句法分析器的比较
2019-01-21杨振鹏
太原城市职业技术学院学报 2018年12期
杨振鹏
(南京财经大学红山学院,江苏 南京 210003)
近年来,依存句法分析发展迅速,已经成为自然语言处理方面的热点问题。国际上著名的自然语言处理会议CoNLL曾多次在会议的shared task中涉及依存句法分析问题。目前,针对依存句法分析的研究越来越多,技术也日趋成熟,依存句法分析器也得到了快速发展。基于汉语的依存句法分析起步较晚,2012年Che等人对汉语句法分析器进行了分析和研究,而此次研究是在斯坦福依存规则下开展的。虽然汉语依存句法分析起步较晚,但发展迅速,已经有多种依存句法分析器产生,而且大部分都适用于汉语依存分析的研究。目前,常用的、技术较为成熟的依存句法分析器主要有:斯坦福依存句法分析器、复旦大学依存句法分析器、哈工大依存句法分析器和最大生成树依存句法分析器。
本文首先介绍了语料的预处理方法及结果的评测标准;然后对四类依存句法分析器进行了详细介绍,重点对各分析器所采用的模型和算法进行了分析和对比;最后,总结了现有依存句法分析存在的问题,并对未来依存句法分析的发展进行了展望。
一、语料的预处理及评测标准
(一)语料的预处理
就目前而言,还没有比较成熟的依存树库的存在,尽管2002年Rambow等人曾做过早期的努力。由于句法分析发展较早,句法分析技术更为成熟,而且英语一直是研究的主流,因此英语的句法分析树库已经存在,并且日趋成熟。目前,英语中最大的树库是宾州树库,树库在句法分析中也引入了依存分析器,从而实现了依存句法分析。……
登录APP查看全文
