基于Transformer的中文纠错系统设计与实现
2022-01-06北方工业大学信息学院李丹丹
数字技术与应用 2021年12期
北方工业大学信息学院 李丹丹
实现中文文本纠错的目的是提高语言的正确性,同时减少人工校验成本。序列到序列的深度模型可以避免人工提取特征,减少人工工作量,对文本任务拟合能力强,特别是Transformer模型,近几年在自然语言处理领域大火大热。Transformer模型摒弃了传统序列到序列模型中CNN或RNN的方法和模块,开创性地将自注意力机制作为编解码器的核心,不仅训练速度快,而且解决了RNN处理长距离文本可能导致语义丢失的问题。本论文设计了一个基于Transformer的中文纠错系统,经过NLPCC 2018官方基准测试集的测试,本论文设计的模型精确率达到27.19,召回率达到12.27,证明本系统有效。
0 引言
当前,全球格局加速演变,经济全球化、文化多样化已经深入各国的发展。中国的国际地位正在逐步提高,学习中文的人越来越多,而中文经过几千年的演变和发展,已形成了一套复杂的文法和句法规则。这些语法和句法规则复杂多变,比如一些字或词存在多音、多义等现象。当语言使用者对语言掌握不足或粗心大意时,就很容易犯用词不当、张冠李戴等错误。另外爆炸式增长的网络数据中也存在着大量的错误信息,诸如错别字、错误语法等,这极大降低了电子文本的可读性和规范性。
本文期望设计并实现一款基于中文文本的纠错系统,旨在实现自动识别并纠正文本错误的功能,比如纠正文本中包含的用词错误、语法错误。中文纠错系统不仅可以适用于中文的初学者,帮助外国人学习中文,弘扬中国文化,还可以应用于出版业等需要文本校对的机构。……
登录APP查看全文
