买买提依明·哈斯木，吾守尔·斯拉木，维尼拉·木沙江,努尔麦麦提·尤鲁瓦斯

(1. 新疆大学 信息科学与工程学院，新疆多语种重点实验室，新疆 乌鲁木齐 830046；2. 和田师范专科学校，计算机科学系，新疆 和田 848000)



基于统计专用字符的维、哈、柯文文种识别研究

买买提依明·哈斯木1，2，吾守尔·斯拉木1，维尼拉·木沙江1,努尔麦麦提·尤鲁瓦斯1

(1. 新疆大学 信息科学与工程学院，新疆多语种重点实验室，新疆 乌鲁木齐 830046；2. 和田师范专科学校，计算机科学系，新疆 和田 848000)

在Unicode编码方案中维、哈、柯文字符安排在阿拉伯字符区域，三种语言中共享字符比较多，跟阿拉伯字符区域混在一起，没有专用的语言ID。在信息检索和自然语言处理领域对维、哈、柯文的识别、处理带来不便。该文首先分析并总结了维、哈、柯文三种语言中的专用字符、复合字符、某些字符在某种语言中出现形势的独特性等特征，然后在此基础上设计了维、哈、柯文种识别算法。 实验结果表明该文提出的文种识别算法的正确率在文本多于70词时达到96.67%以上。

文种识别；专用字符；复合字符；维文；哈文；柯文；Unicode

1 引言

维吾尔语、哈萨克语、柯尔克孜语(下文简称维、哈、柯语)属于阿尔泰语系突厥语族。虽然有Uyghur、Kazakh、Kyrgyz不同语言之分，但其字模，字符串构成方式，语序以及句法和语法规则大体相通。另外，三种语言对应字符串的Unicode编码不仅内容上大体相同，而且在表现形式上(斜体字部分)也较接近。在字母表中的大部分字母完全相同并非常相近阿拉伯语[1-2]，所以在Unicode编码方案中维、哈、柯文字符安排在阿拉伯字符区域(0600～06FF)，跟阿拉伯字符区域混在一起，该区域中维、哈、柯共用一些字母，而且没有语言ID。……