基于感知机模型藏文命名实体识别
2014-04-03华却才让姜文斌赵海兴
华却才让 ,姜文斌 ,赵海兴 ,刘 群
HUA Quecairang1,2,JIANG Wenbin3,ZHAO Haixing1,LIU Qun3
1.陕西师范大学 计算机学院,西安 710062
2.青海师范大学 藏文信息研究中心,西宁 810008
3.中国科学院 计算技术研究所,北京 100190
1.Computer Science School of Shaanxi Normal University,Xi’an 710062,China
2.Tibetan Information Research Center,Qinghai Normal University,Xining 810008,China
3.Institute of Computing Technology,Chinese Academy of Sciences,Beijing 100190,China
藏文命名实体识别(Named Entity Recognition,NER)是确定藏文文本中人名、地名、机构名和数词等名词短语的过程。它是藏文分词、机器翻译、跨语言检索和文档摘要等自然语言处理中应用的关键技术,也是目前藏文自然语言处理中亟待解决的问题。藏文作为典型的逻辑格语法体系的复杂拼音文字之一[1],首先句子中最基本的单元为音节(字),一个或多个音节构成词语,词与词之间没有明显标记;其次,具有严格的格词接续规则,部分格词与前一个词存在粘着和形态变化等关系[2],导致与音节的后置字符及又后置字符间存在歧义;第三动词在时态上具有屈折变化。这些复杂性使得藏文分词已成为藏文信息处理中的一个难题[3],而藏文命名实体的识别更为困难,也是必须要解决的问题。
藏文中命名实体类似中文命名实体没有区分标记,其基本单元一个音节类似中文的一个字,没有英文中的大小写特征,它们和非命名实体没有形态上的区别。大部分藏族都有姓,包括古代庄园名、家族名、部落名和地名等,也有寺院和封号名。常见的藏族人名按音节长度有2个(1个词)、3个(1个或2个词)和4个音节(2个词),个别有1个和6个音节,加上姓和封号后甚至有26个音节长度的姓名。而藏文地名、机构名同汉语类似,都有一些开头和结尾特征,但用词特点不同[4]。……
