藏文文本错误检错系统的设计与实现
2022-03-21西藏大学刘泽军杨士伟
数字技术与应用 2022年2期
西藏大学 刘泽军 杨士伟
随着信息技术的蓬勃发展,自然语言处理已经成为了热门话题。目前,中文、英文的分词方法也已经较为成熟。随着国家对少数民族地区文化的支持,越来越多的学者也对少数民族地区的文化保护做出了贡献。本文立足于藏文的信息化,设计制作了藏文文本错误检错系统,运用了Python、HTML5、JavaScript等。
当处理大量的数据文本时,若采用人工检测,会消耗大量的人力、物力与财力,且大量数据带来的疲劳感还将大大降低检错的效率。为此,我们开发了藏文文本错误检错系统,将检错成本尽可能的减至最低的此同时提升了检错的效率,性价比较高,方便可实行。后期做进一步的优化,还可将其设计为一款小程序,方便又快捷。此外,在Word等App中输入汉字或者英文时,系统会自动检错,并在出错的位置标红提示用户,但到目前为止,藏文在这一块的功能还比较缺乏,这也是我们此次设计的创新点。
使用的自然语言不同,所产生的文本错误也不相同,因为每一种语言在单位及组织结构上各有特点。就拿汉字和英文来看,英文以空格作为词的显式边界字符,而中文则较为复杂。(1)由于中文没有特定的符号显示边界,分割的依据必须是语义。有些汉字本身具有独立的含义,有些字则无任何含义,只有与其他汉字结合才能表达一定的含义。因此,在对中文文本进行分析前一般先做自动分词,为汉字串添加显示标识符。(2)因为汉语字符集是大字符集,它包含超过6700个汉字,这给汉语的处理带来了困难,因为许多对英文很有效的语言处理技术在中文处理中不适用。……
登录APP查看全文
