基于指代消解的汉语句群自动划分方法
2017-09-01王荣波孙小雪黄孝喜刘和平
计算机技术与发展 2017年8期
关键词:方法
王荣波,孙小雪,黄孝喜,刘和平
(1.杭州电子科技大学 计算机学院,浙江 杭州 310018;2.浙江大学 软件学院,浙江 杭州 310000)
基于指代消解的汉语句群自动划分方法
王荣波1,孙小雪1,黄孝喜1,刘和平2
(1.杭州电子科技大学 计算机学院,浙江 杭州 310018;2.浙江大学 软件学院,浙江 杭州 310000)
汉语句群自动划分是将篇章划分成包含不同主题的文本片段,在信息提取、文摘生成、语篇理解及其他多个领域有着极为重要的应用。指代消解是识别篇章中先行词和照应词关联起来的过程,消解不同表达是自然语言理解的基础之一。针对目前的句群划分工作的重点在于划分出主题之间的边界而较少利用其本身指代关系来进行语言理解,或者因指代模糊而得到错误的划分结果的问题,提出了一种基于指代消解的句群自动划分方法。该方法从对篇章的指代情况消解出发,利用适合中文的多层过滤指代消解方法得到指代链信息,以消除不同名词代表相同实体、代词指代不明的问题。结合指代链信息,并同时考虑篇章衔接词因素,设计并进行了基于多元判别分析(Multiple Discriminate Analysis,MDA)的一组评价函数J评价句群划分验证实验。实验结果表明,所提出的方法能够有效地进行句群自动划分,统计正确分割平均Pμ提高了7%左右。
句群划分;指代消解;多层过滤;多元判别分析
1 概 述
在中文信息处理技术的发展过程中,人们发现传统的中文语法单位“词语”、“句子”能够承载的信息量太小,而“段落”、“篇章”承载的信息量又太大。……
登录APP查看全文
