海量标注语料库智能构建系统的设计与实现
2022-01-21杨静姜赢朱哲宇
现代计算机 2021年33期
杨静,姜赢,朱哲宇
(1.北京师范大学人文和社会科学高等研究院,珠海 519087;2.北京师范大学珠海分校,珠海 519087)
0 引言
随着自然语言处理技术的进步以及大型语料库的不断丰富,中文信息处理领域取得了丰富的研究成果。这其中尤为突出的是基于机器学习、深度学习等方法的深入应用,在中文分词、词性标注、语义分析、主题提取、自动问答系统、机器翻译、文本聚类等方面都取得了较好的效果。但对于半监督、有监督的算法而言,网络模型的训练往往需要海量正确标注的语料作为样本,通过学习之后才能具备对未知数据的预测能力。例如最新的自然语言深度学习模型GPT-3[1],该模型通过对将近0.5万亿个单词进行预训练,可以很好地完成翻译、自动问答甚至生成连贯的文本段落。虽然目前已经出现了各种自动文本标注算法,但由于中文词义的复杂、多变,无论哪一种标注算法都无法达到100%的准确率。特别是在语义、语用和话语研究中,单纯依靠计算机的自动判别无法达到研究所需的精度,因此海量的高质量标注数据对于中文信息处理是不可或缺的研究素材。
语料库是自然语言处理的重要数据支撑平台,大量带标注的结构化语料能够帮助研究者对语料库信息进行深度挖掘,并实现语料的增值[2]。目前国内大部分语料库都存在规模偏小、语料陈旧、标注单一、开发周期过长等缺陷。例如:北京大学计算语言研究所构建的1998年人民日报语料库无论在学界和业界都有巨大的影响力,但是随着时间的推移,该语料库的时效性、完备性和覆盖度均需要进一步的更新和补充。……
登录APP查看全文
