倪耀群，曹 鹏，许洪波，唐慧丰，程学旗

（1.中国科学院 计算技术研究所，北京100190；2.中国科学院 研究生院，北京100049；3.解放军外国语学院，河南 洛阳471003）

1 引言

1.1 维吾尔文和阿拉伯文、哈萨克文等文字共用很多字母

阿拉伯文是由28个辅音字母和12个发音符号（不包括叠音符）组成的拼音文字，世界上大约有60多个民族的文字是以阿拉伯字母为基础来书写的。为正确书写和显示这60多种文字中的专有字符，Unicode标准在阿拉伯基本字母集合（U＋600～U＋6FF）之外提供了阿拉伯语变形显现形式－A（U＋FB50～U＋FDFB）和阿拉伯语变形显现形式－B（U＋FE70～U＋FEFC）字符集。

中国新疆地区使用的维吾尔文、哈萨克文和柯尔克孜文都属于这类文字，以阿拉伯字母为基础书写的维文称为老维文，简写为ASU（Arabic－Script Uyghur），老维文有32个字母。而以阿拉伯字母为基础的哈萨克文有33个字母，柯尔克孜文有30个字母和一个合体字母，这些文字共用了很多字母，编码重叠较多，字符集差异很不明显。例如，哈萨克文33个字母中有21个字母的字型形状及编码与维吾尔文完全相同［1］；波斯文有32个字母，其中28个是阿拉伯字母。下面列举了几种文字：

其中维文被谷歌浏览器chrome的“网页检测”识别为阿拉伯文；而谷歌翻译的“检测语言”功能，把维文识别当作“普什图语”（阿富汗的主要语言），如图1所示。

图1 谷歌翻译误将维文（《人民日报》记者深入灾区第一线采访）检测为“普什图语”

如何将维吾尔文从阿拉伯文、哈萨克文、柯尔克孜文等以阿拉伯字母为基础书写的类似文字中识别出来，是维文信息处理的一个重要研究问题。……