APP下载

面向油田领域的中文真词错误自动校对方法研究

2021-04-09王辉Marius.Petrescu潘俊辉王浩畅张强张岩

计算技术与自动化 2021年1期

王辉 Marius. Petrescu 潘俊辉  王浩畅 张强 张岩

摘 要:中文真词错误自动校对是自然语言理解的一项重要的基础研究课题,油田数字化过程中利用图像识别及人工录入产生的中文真词错误会直接影响后期数据综合分析准确度。对中文真词错误成因和统计语言模型进行分析,提出一种面向油田领域的中文真词错误自动校对方法。该方法首先构建通用领域和油田领域混淆集,再引入同义词集丰富知识库,对语料分词后,综合统计分析目标词与混淆词、周边词的同义词之间关系,自动校对真词错误。实验表明, 提出的方法能有效校对油田领域的中文真词错误。

关键词:真词错误; N-gram; 文本自动校对; 知识库构建

中图分类号:TP391      文献标识码:A

Research on Chinese Real-word Error

Automatic Proofreading For Oilfield

WANG Hui1,Marius. Petrescu2,PAN Jun-hui1,WANG Hao-chang1,ZHANG Qiang1,ZHANG Yan1

(1.Department of Computer and Information Technology, Northeast Petroleum University, Daqing,

Heilongjiang 163318, China; 2. Petroleum-Gas University of Ploiesti, Ploiesti 100680, Romania)

Abstract:Automatic proofreading of Chinese real-word errors is an important and basic research issus in NLP, in the process of oil field digitization, Chinese real-word errors generated by image recognition and manual input, which will directly affect the accuracy of later data comprehensive analysis. This paper analyzes the cause of Chinese real-word errors and statistical language models, and proposes an automatic proofreading method of Chinese real-word errors for oilfield. First the confusion sets of general domain and oilfield domain are constructed, then the knowledge base is enriched by adding synonyms set. After word segmentation, the relationship between target word and synonyms words of confosed words and peripheral words was analyzed by comprehensive statistics, real-word errors are automatically checked. Experimental results show that the method proposed  can effectively proofread Chinese real-word errors in oilfield.

Key words:real-word error; N-gram; text automatic proofreading; knowledge base construction

教育部、國家语委印发的《国家中长期语言文字事业改革和发展规划纲要(2012-2020年)》[1]中提出必须强化国家通用语言文字规范意识,加强语言文字规范标准建设,进一步提高信息化水平。一直以来,中文文本自动校对都是自然语言处理的一个重点研究课题。随着油田数字化的迅猛发展和推广实施,油田数据质量问题逐渐凸显,直接决定着综合分析实际生产状态、后期的应用拓展及战略决策的优劣。因此,中文文本错误的校对技术对油田数字化的容错性,以及数据质量的提高有着非常重要的意义。

首先构建了油田领域真词错误混淆集知识库,增加了同义词集,利用NLPIR分词系统对文本进行分词处理,在统计语言模型基础上,提出一种基于局部特征的同义词泛化N-gram模型,应用于油田特定领域的中文真词错误自动校对。……

登录APP查看全文