APP下载

基于Transformer的中文纠错系统设计与实现

2022-01-06北方工业大学信息学院李丹丹

数字技术与应用 2021年12期
关键词:文本信息模型

北方工业大学信息学院 李丹丹

实现中文文本纠错的目的是提高语言的正确性,同时减少人工校验成本。序列到序列的深度模型可以避免人工提取特征,减少人工工作量,对文本任务拟合能力强,特别是Transformer模型,近几年在自然语言处理领域大火大热。Transformer模型摒弃了传统序列到序列模型中CNN或RNN的方法和模块,开创性地将自注意力机制作为编解码器的核心,不仅训练速度快,而且解决了RNN处理长距离文本可能导致语义丢失的问题。本论文设计了一个基于Transformer的中文纠错系统,经过NLPCC 2018官方基准测试集的测试,本论文设计的模型精确率达到27.19,召回率达到12.27,证明本系统有效。

0 引言

当前,全球格局加速演变,经济全球化、文化多样化已经深入各国的发展。中国的国际地位正在逐步提高,学习中文的人越来越多,而中文经过几千年的演变和发展,已形成了一套复杂的文法和句法规则。这些语法和句法规则复杂多变,比如一些字或词存在多音、多义等现象。当语言使用者对语言掌握不足或粗心大意时,就很容易犯用词不当、张冠李戴等错误。另外爆炸式增长的网络数据中也存在着大量的错误信息,诸如错别字、错误语法等,这极大降低了电子文本的可读性和规范性。

本文期望设计并实现一款基于中文文本的纠错系统,旨在实现自动识别并纠正文本错误的功能,比如纠正文本中包含的用词错误、语法错误。中文纠错系统不仅可以适用于中文的初学者,帮助外国人学习中文,弘扬中国文化,还可以应用于出版业等需要文本校对的机构。……

登录APP查看全文

猜你喜欢

文本信息模型
一半模型
重尾非线性自回归模型自加权M-估计的渐近分布
在808DA上文本显示的改善
基于doc2vec和TF-IDF的相似文本识别
订阅信息
3D打印中的模型分割与打包
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
展会信息
如何快速走进文本
健康信息