古汉语自动分词技术研究现状及进展
2022-10-11王进张义
海南开放大学学报 2022年3期
王进,张义
(淮北师范大学 文学院,安徽 淮北 235000)
随着计算机辅助汉语史研究的不断深入,当前古汉语语言数据亟需基于内容的深度挖掘,此背景下,古汉语自动分词技术的重要性愈加凸显。然而,古汉语词汇的演变并不平衡,在词汇、语法等方面与现代汉语相比存在较大差异,因此,简单地将现代汉语自动分词技术准则直接移用到对古汉语的处理,可能会出现古汉语词汇判定的问题;除此之外,受古汉语文本类型、古汉语语用习惯等特殊因素的影响,采取单一的分词方案处理古汉语语料,效果也不够理想。
古汉语自动分词技术经历了基于词典和统计的方法、基于机器学习的序列标注方法等几个早期发展阶段,近年来,深度学习技术的应用越来越广泛,利用深度神经网络模型的预训练、后处理方式成为古汉语自动分词研究的新尝试,并表现出了较大优势。本文梳理了当前古汉语分词领域的相关技术方法,重点关注新进展,以期理清未来的研究方向。
一、古汉语分词的关键问题
分词粒度界定、歧义消解和未登录词处理等是汉语自动分词的关键问题,具体到古汉语分词中,情况可能更加复杂。要完成词语的自动切分,词汇判别是实现汉语词汇自动切分的第一步。古汉语以单音节词汇为主,但在单音词向复音词演进过程中,古汉语的词、短语界限并不明晰,因此,古汉语领域的分词粒度界定较难,如果缺乏切分标准,很大程度上会造成歧义切分。……
登录APP查看全文
