APP下载

古汉语自动分词技术研究现状及进展

2022-10-11王进张义

海南开放大学学报 2022年3期
关键词:词汇文本方法

王进,张义

(淮北师范大学 文学院,安徽 淮北 235000)

随着计算机辅助汉语史研究的不断深入,当前古汉语语言数据亟需基于内容的深度挖掘,此背景下,古汉语自动分词技术的重要性愈加凸显。然而,古汉语词汇的演变并不平衡,在词汇、语法等方面与现代汉语相比存在较大差异,因此,简单地将现代汉语自动分词技术准则直接移用到对古汉语的处理,可能会出现古汉语词汇判定的问题;除此之外,受古汉语文本类型、古汉语语用习惯等特殊因素的影响,采取单一的分词方案处理古汉语语料,效果也不够理想。

古汉语自动分词技术经历了基于词典和统计的方法、基于机器学习的序列标注方法等几个早期发展阶段,近年来,深度学习技术的应用越来越广泛,利用深度神经网络模型的预训练、后处理方式成为古汉语自动分词研究的新尝试,并表现出了较大优势。本文梳理了当前古汉语分词领域的相关技术方法,重点关注新进展,以期理清未来的研究方向。

一、古汉语分词的关键问题

分词粒度界定、歧义消解和未登录词处理等是汉语自动分词的关键问题,具体到古汉语分词中,情况可能更加复杂。要完成词语的自动切分,词汇判别是实现汉语词汇自动切分的第一步。古汉语以单音节词汇为主,但在单音词向复音词演进过程中,古汉语的词、短语界限并不明晰,因此,古汉语领域的分词粒度界定较难,如果缺乏切分标准,很大程度上会造成歧义切分。……

登录APP查看全文

猜你喜欢

词汇文本方法
本刊可直接用缩写的常用词汇
一些常用词汇可直接用缩写
在808DA上文本显示的改善
本刊可直接用缩写的常用词汇
基于doc2vec和TF-IDF的相似文本识别
用对方法才能瘦
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
四大方法 教你不再“坐以待病”!
捕鱼
如何快速走进文本