基于词典和统计相结合的维吾尔语拼写检查方法
2014-04-14麦合甫热提艾山吾买尔麦热哈巴艾力吐尔根伊布拉音
中文信息学报 2014年2期
麦合甫热提,艾山·吾买尔,麦热哈巴·艾力,吐尔根·伊布拉音,张 健
(1.新疆大学教务处,新疆乌鲁木齐830046;2.新疆大学信息科学与工程学院,新疆乌鲁木齐830046;3.新疆虹联软件责任公司,新疆乌鲁木齐830002)
1 引言
人工进行拼写检查是一项时间耗费量巨大而繁杂的任务。因此计算机自动校对系统的研究与开发是自然语言处理的主要应用领域之一,可应用于报刊及出版社、打字、文字识别等需要进行文本校对的行业。
在中国,中文(汉文)校对方面的研究已有了一定的深度,有很多研究成果现已商品化,如黑马校对系统、金山校对系统、工智校对通等。维吾尔语校对方面也有了一些商品化的软件。如,Yulghun维吾尔语正字法校对系统,维软公司维吾尔文正字法校对系统等。但这类软件是基于词汇库的,由于软件的准确率取决于词汇库的容量,因此对词汇库的要求很高。为了弥补基于词典的查错方法具有鲁棒性不高,对词干提取无法检查连接的词缀是否有效等不足,结合维吾尔语的特点,我们提出了词典与统计相结合的方法。
2 维吾尔语拼写检查
维吾尔语属于黏着语言[1],因此在拼写过程中难免会出现拼写错误,而且拼写错误率较高。在实际使用过程中,有些单词的拼写检查根本不会影响读者对内容的正确理解。但是,拼写错误不仅对出版行业重要,对语言自身的健康发展也很重要。
拼写错误一般指的是键入的文本,即人们键入文本时,无意识或不知正确拼写的情况下,根据发音拼写单词而产生的错误。……
登录APP查看全文
