APP下载

蒙古语有向图形态分析器的判别式词干词缀切分

2011-06-28姜文斌吴金星乌日力嘎那顺乌日图

中文信息学报 2011年4期
关键词:词缀分析模型

姜文斌, 吴金星,乌日力嘎,那顺乌日图,刘 群

(1. 中国科学院 计算技术研究所,中国科学院 智能信息处理重点实验室,北京 100190;2. 内蒙古大学 蒙古学学院,内蒙古 呼和浩特 010021)

1 引言

形态分析对于黏着语来说,是大多数自然语言处理任务的基础。汉语的词形较为简单,当前的词法分析已经做到实际可用的水平[1-4],而对于形态复杂的民族语言如蒙古语和维吾尔语,形态分析的准确率仍有较大的提升空间[5-11]。这一方面是因为这些语言的研究起步较晚,另一方面更是因为黏着语本身构词规律的复杂性。

与汉语的字符顺次拼接的构词方式相比,蒙古语和维吾尔语等形态丰富的语言构词规律更加复杂。这类语言的词语通常由词干和若干起修饰作用词缀组成树状结构,形态分析任务需要解析出词语的词干和词缀构成。我们之前提出了一种针对蒙古语构词特性的形态分析模型。该模型将蒙古语语句的词法分析结果描述为有向图结构,图中节点表示分析结果中的词干、词缀及其相应标注,而边则表示节点之间的转移或生成关系。为这些转移或生成关系赋以合适的概率形式,则形态分析的过程就是寻找其所有概率乘积最大的有向图。该模型取得了较高的性能,但它存在致命的缺点。模型依据从人工语料库中抽取出的词干表和词缀表,通过递归搜索为每个词枚举所有可能的切分标注候选。显然,该方式无法处理含有未登录词干的词语。……

登录APP查看全文

猜你喜欢

词缀分析模型
一半模型
从网络语“X精”看“精”的类词缀化
隐蔽失效适航要求符合性验证分析
重尾非线性自回归模型自加权M-估计的渐近分布
电力系统不平衡分析
释西夏语词缀wji2
电力系统及其自动化发展趋势分析
3D打印中的模型分割与打包
试析否定词缀在汉维语中的不同表现
类词缀与词缀的共性特点分析