才项措 达哇彭措

摘 要： 分词就是将连续的文字序列按照特定的规范重新组合成词语序列的过程，在藏文信息处理领域分词是不可或缺的基础性工作，也成为智能化藏文信息处理的关键所在。汉语信息处理中自动分词的基本问题同样存在于藏文信息处理之中，诸如分词规范、歧义切分和未登录词识别三个方面，此外，藏文信息处理的自动分词中还存在对紧缩词识别的问题。

关键词：藏文自动分词 分词规范 歧义切分 未登录词 紧缩词

中图分类号：TP391 文献标识码：A 文章编号：1003-9082（2016）07-0008-01

笔者在从事藏文信息处理技术的工作和研究中，对藏文自动分词技术中存在的基本问题形成了若干认识，目前暂从分词规范、歧义切分、未登录词识别和紧缩词的识别四个部分试作分析。由于这一工作的长期性和复杂性，我们的专业水平也存在一定的局限，诚挚的希望得到相关领域不同专业学者的指导与批评。

一、分词规范

藏文的分词规范，就是根据藏文词汇的语法功能，遵循藏文自身的特点及构词规律，将藏文的词类进行有效划分的算法及规范方案。对于藏文词类的划分有关学者已经提出了藏文分词的算法及规范方案，比较全面的有：扎西加、珠杰等在面向信息处理的藏文分词规范研究中，将藏文词类划分为26个基本类和9个特殊类，在26个基本类当中继续细分为不同的子类，基本类包括名词、处所方位词、时间词、数词、量词、代词、自动词、他动……