联合多神经网络模型的藏文字校对方法*
2021-05-10安见才让
微处理机 2021年2期
关键词:模型
安见才让
(青海民族大学计算机学院,西宁810007)
1 引 言
信息社会的发展,使电子书、网上图书馆以及网页等种类繁多的信息平台不断出现,供人们使用。这些平台上的信息主要是通过键盘录入、图像扫描等方式输入到计算机的。在输入过程中,任何一种方式都无法保证存入的信息准确无误,校对技术,作为确保准确输入信息的一种专业性技术,便显示出其重要性来。
国外研究在英文文本校对方面取得了一定成果,部分成果实现了商品化。英文校对一般分为两部分[1],一是针对英语单词内部出现的拼写错误,主要采用最小编辑距离技术、相似键技术等六种方法来实现[2];二是对句子中出现的单词正确但用法错误的情况进行校正,主要采用自然语言处理和统计语言模型技术(SLM)解决。由于汉语与英语在语言本身及文本输入方式上均存在较大差异, 因而汉语的文本校对系统所采用的策略及技术,与英文校对系统有一定的差异。现今普遍采用的技术有:词切分技术[3]、近似集模糊匹配技术[4-5]、语法分析及语义分析技术等[6]。国内对文本校对方面的研究始于上世纪90 年代初期,但发展速度较快,其中藏文字的主要校对方法采用字典匹配法进行。文献[7]详细描述了藏文的文法并根据藏文文法提出了基于分段的藏文校对方法。随着深度学习方法的发展,一些神经网络模型也被成功应用于藏文字的校对任务。
2 藏文字校对神经网络模型架构
2.1 藏文字母向量化
利用神经网络模型处理藏文字校对问题,首先需要将字母向量化表示。……
登录APP查看全文
