阿力木·木拉提，艾孜尔古丽，杨雅婷，李 晓

(1.中国科学院 新疆理化技术研究所，新疆 乌鲁木齐 830011；2.新疆民族语音语言信息处理重点实验室，新疆 乌鲁木齐 830011；3.中国科学院大学， 北京 100049；4.新疆师范大学 计算机科学技术学院， 新疆 乌鲁木齐 830054)

基于多策略的维吾尔文网页识别方法

阿力木·木拉提1,2,3，艾孜尔古丽4，杨雅婷1,2，李 晓1,2

(1.中国科学院 新疆理化技术研究所，新疆 乌鲁木齐 830011；2.新疆民族语音语言信息处理重点实验室，新疆 乌鲁木齐 830011；3.中国科学院大学， 北京 100049；4.新疆师范大学 计算机科学技术学院， 新疆 乌鲁木齐 830054)

经过对大量维吾尔文网站的调查与分析，该文从多语种混合网页中针对维吾尔文网页识别进行了研究,这对维吾尔语信息处理工作起着关键作用。首先该文探讨了维吾尔文不规范网页的字符编码转换规则及原理，以此对不规范维吾尔文字符进行了相应的处理,之后介绍了基于修改的N-Gram方法和基于维吾尔语常用词特征向量的两种方法，其中后者融合了维吾尔文常用候选词语料库及向量空间模型(Vector Space Model)。使用三种不同类型的维吾尔文网页文本作为本研究的数据集，在此基础上验证了该文提出的网页识别方法，以及采用不同的方法进行了网页识别的实验。实验结果表明，基于N-Gram的方法对正文较长的新闻或论坛网页的识别性能最佳，反而基于常用词特征向量的方法对短文本的网页识别性能优越N-Gram。所提方法对维吾尔文网页识别的整体性能达到90%以上，并验证了这两种方法的有效性。……