融合多策略的维吾尔语词干提取方法
2015-04-21赛迪亚古丽艾尼瓦尔宗成庆艾克白尔帕塔尔艾斯卡尔艾木都拉
中文信息学报 2015年5期
赛迪亚古丽·艾尼瓦尔,向 露,宗成庆,艾克白尔·帕塔尔,艾斯卡尔·艾木都拉
(1. 新疆大学 信息科学与工程学院,新疆 乌鲁木齐 830046;2. 中国科学院自动化研究所 模式识别国家重点实验室,北京 100190)
融合多策略的维吾尔语词干提取方法
赛迪亚古丽·艾尼瓦尔1,向 露2,宗成庆2,艾克白尔·帕塔尔1,艾斯卡尔·艾木都拉1
(1. 新疆大学 信息科学与工程学院,新疆 乌鲁木齐 830046;2. 中国科学院自动化研究所 模式识别国家重点实验室,北京 100190)
维吾尔语是形态变化复杂的黏着性语言,维吾尔语词干词缀切分对维吾尔语信息处理具有非常重要的意义,但到目前为止,维吾尔语词干提取的性能仍存在较大的改进空间。该文以N-gram模型为基本框架,根据维吾尔语的构词约束条件,提出了融合词性特征和上下文词干信息的维吾尔语词干提取模型。实验结果表明,词性特征和上下文词干信息可以显著提高维吾尔语词干提取的准确率,与基准系统比较,融入了词性特征和上下文词干信息的实验准确率分别达到了95.19%和96.60%。
维吾尔语;形态;词干提取;N-gram模型;词性特征;上下文词干信息
1 引言
维吾尔语属于黏着性语言,黏着性语言的构词和构形都是以词根、词干缀接不同的词缀来实现语法功能。每一个词的构成和其语法意义的表示都是依赖于不同词缀的缀接,每个词缀都有独立的语法意义,词缀不仅改变词根的词义,也会决定一个词在句子中的作用。任意词根追加不同的词缀(所属性,时态,复数)都会生成不同的新词。……
登录APP查看全文
