APP下载

中文CCG树库的构建

2012-07-09黄昌宁揭春雨

中文信息学报 2012年3期
关键词:结构

宋 彦,黄昌宁,揭春雨

(1. 香港城市大学 中文、翻译及语言学系,香港九龙达之路83号;2. 微软亚洲研究院,北京 100080)

1 引言

自动句法分析(parsing)是自然语言处理的一项基本技术,是迈向语义理解的一道门槛。当前信息处理对于深度本文分析的需求有增无减,不但要求描绘句内各成分间的句法关系,还需要在一定程度上刻画词和词之间的语义联系。组合范畴语法(Combinatory Categorial Grammar,CCG)[1]可以为这种需求提供一种显式的表达形式,直接将词汇关系映射到各个句法节点的范畴上,为快速句法分析提供了一种有效的形式化描述。在2009年约翰霍普金斯大学举行的夏季研讨班(JHU Summer School 2009)上*该研讨班的主题为“Parsing the Web”,旨在通过CCG得到快速而有效的跨领域深层句法分析结果。,研究人员通过采用优化的句法分析算法,使CCG句法分析在维基百科(Wikipedia)语料上达到每秒超过100句的分析速度,且抽样显示,其分析精度并未有明显损失,说明CCG可以用来进行工业规模的句法分析[2]。

实用的句法分析器(parser),特别是以有监督的机器学习方法训练,需要大量的句法树实例作训练语料。目前很难找到合适的CCG树库做此用途,对于中文,此等资源*2010年Daniel Tse[4]在宾州中文树库上开发了相应的中文CCG树库,然而该树库尚未开放给他人使用。尤其短缺。要将CCG应用于中文信息处理,当务之急是构建一个中文CCG树库(CCGbank)。众所周知,从零开始标注一个大规模的句法树库是一项极费人力和资源的工程。考虑到目前已经有一些现成的句法树库,例如,宾州英文树库(PTB)、宾州中文树库(CTB)、德文TIGER树库、台北中研院Sinica中文树库和清华大学中文树库(TCT)等,把这些资源转化成所需的CCG树库,当是一种行之有效的资源建设方案。……

登录APP查看全文

猜你喜欢

结构
DNA结构的发现
《形而上学》△卷的结构和位置
论结构
新型平衡块结构的应用
论《日出》的结构
纵向结构
纵向结构
我国社会结构的重建
创新治理结构促进中小企业持续成长
半夹心结构含1,2-二硒碳硼烷的多核Co配合物的合成及结构表征