基于归约的汉语最长名词短语识别方法
2015-04-21钱小飞
中文信息学报 2015年2期
钱小飞,侯 敏
(1. 上海大学 文学院,上海 200444;2. 中国传媒大学 国家语言资源监测与研究中心有声媒体中心,北京 100024)
基于归约的汉语最长名词短语识别方法
钱小飞1,侯 敏2
(1. 上海大学 文学院,上海 200444;2. 中国传媒大学 国家语言资源监测与研究中心有声媒体中心,北京 100024)
该文提出了最长名词短语(MNP)的操作性定义,分析了其构造和分布特征,并设计了一种基于baseNP归约的识别方法,利用MNP结构特性及起始有定成分、语义核心等语言学特征,缓解了最长名词短语长距离依赖与模型观察窗口受限的矛盾。开放测试取得了88.68%的正确率和89.21%的召回率;归约方法全面提升了识别性能,特别是将多词结构的调和平均值提高1%,优化幅度达6%以上,并且对长距离复杂结构有着更好的识别效果。
最长名词短语;识别;归约;基本名词短语
1 引言
名词短语的句法处理是自动句法分析的重点和难点。最长名词短语(MNP)是语言信息处理学界专门提出的名词短语类别,约占据句子长度的60%以上,它的识别可以为机器翻译、指代消解等重要应用提供有效支持。
最长名词短语识别有两种方法:基于规则的方法和基于统计的方法,实际常结合使用。规则方法主要利用词类序列的组合规则判别边界[1];统计方法通过计算某个位置出现边界的概率[2-3]、词语的位置类别来识别MNP,其中统计机器学习方法是当前的主流方法[4]。从识别策略看,基于2-phase策略[5]的统计机器学习方法取得了较好效果:先识别组块,然后以此为特征识别MNP。……
登录APP查看全文
