吐尔洪·吾司曼 杨雅婷 艾孜孜·吐尔逊 程力,†

1.中国科学院新疆理化技术研究所, 乌鲁木齐 830011; 2.中国科学院大学, 北京 100049; 3.新疆民族语音语言信息处理实验室,乌鲁木齐 830011; 4.和田师范专科学校数学与信息学院, 和田 848000; † 通信作者, E-mail： chengli@ms.xjb.ac.cn

在自然语言处理中, 语法结构的分析离不开对词汇形态学的分析, 句子语义的分析也离不开对词汇语义的分析, 因此形态分析是自然语言处理中的基础性问题, 在机器翻译、信息检索和问答系统等领域具有广泛的应用前景[1]。维吾尔语是一种黏着性语言, 丰富的构形词缀连接词干, 表示数、格、时态等语法功能, 例如, 词干“(夏天)作为名词时, 连接属格缀“得到(夏天的), 连接时位格缀“”得到“(在夏天);(写)作为动词时,连接过去式形动态缀得到(写的), 嵌套连接能源体缀、否定缀、现在-将来时缀及代词缀“, 得到(我不会写)。因此, 维吾尔语单词通过构形方式衍生出新词。

自然语言形态分析研究始于1955年, Harris[2]进行英语词素边界识别方面的研究, 1970年, Harris[3]进行英语词素边界识别方面的研究, 并提出基于前文的词素边界识别思想; 1994年, Merialdo[4]利用隐马尔可夫模型(HMM)进行基于无监督训练的英语词性标注研究。2001年, Goldsmith[5]提出最小描述长度准则(minimum description length)的形态分析方法, 在最小描述长度的启发式算法中, 较短的字符串更可能被选中为词干。2005年, Creutz等[6]提出最大自然估计算法的形态分析工具Morfessor, 并于2007年用最大后验估计算法对它进行改进, 得到在英语、芬兰语、土耳其语和阿拉伯语语料上的准确率分别为66.2%, 66.4%, 70.7%和68.1%[7]。……