尕藏扎西 安见才让

摘 要： 句法分析是自然语言处理中一个很复杂的研究内容。藏语句法分析更是目前藏文信息处理中的一个基本问题，许多藏文信息处理任务都依赖着句法分析的精确度。文章根据常用的藏文短语，总结出一套基于短语结构语法的藏文单句规则库，然后在Windows平台上用C#实现基于CYK算法来分析和生成句法树的藏语句法分析器。实验结果表明，在人工标注的测试集上，藏语单句的句法分析准确率达到了81%。

关键词： 规则库； CYK算法； 乔姆斯基范式； 句法树； 句法分析

中图分类号：TP39 文献标志码：A 文章编号：1006-8228（2018）06-53-04

Research and implementation of Tibetan sentence analyzer of CYK algorithm

Gazang Zhaxi， Anjian Cairang

（school of computing， Qinghai University for Nationalities， Xining， Qinghai 810007， China）

Abstract： Syntactic analysis is a very complex research content in natural language processing. The Tibetan sentence analysis is a basic problem in Tibetan information processing. Many Tibetan information processing tasks rely on the accuracy of syntactic analysis. According to the commonly used Tibetan phrases， this paper summarizes a set of Tibetan single sentence rule bases based on the phrase structure grammar. Then C# is used to implement the Tibetan sentence analyzer which uses CYK algorithm to parse and generate syntactic tree， on Windows platform. The experimental results show that the accuracy of the syntactic analysis of a single sentence in Tibetan reaches 81% on the manually labeled test set.

Key words： rule base； CYK algorithm； Chomsky paradigm； syntactic tree； syntax analysis

0 引言

目前，藏語句法分析的研究在藏文信息处理领域处于萌芽阶段，因此还要借鉴和吸收英汉语句法分析方法及相应的算法。在国外句法分析研究经历了60多年的发展历程。在此过程中句法分析方法也不断完善和改进。一般句法分析器通常有两部分组成：形式语法体系和分析控制机制[2]。句法分析的研究方法一般有基于规则和基于统计两类。CYK算法是基于短语结构语法的自动句法分析方法之一，而基于短语结构语法的自动句法分析方法是基于规则方法的。基于规则方法对自然语言的表达非常有效，且有着较好的可计算性。

在国内，藏语句法分析的研究刚起步。在句法分析之前首先要建立藏语句法规则库，规则库存放藏语语法规则。由于藏语与其他语言的句法结构有着很大区别，所以要根据藏语本身的特点来建立句法规则库。……