APP下载

古汉语词义标注语料库的构建及应用研究

2022-06-21郭懿鸾王慧萍张学涛胡韧奋

中文信息学报 2022年5期

舒 蕾, 郭懿鸾, 王慧萍, 张学涛, 胡韧奋

(1.北京师范大学 中文信息处理研究所,北京 100875;2.北京师范大学 人文宗教高等研究院,北京 100875;3. 北京师范大学 汉语文化学院,北京 100875)

0 引言

词义标注语料库通常需要根据某个词典对多义词各个义项的定义,在真实的语料上标注多义词的准确义项[1]。英语词义标注语料库的研究起步较早,由英国Sussex大学主办的SENSEVAL英语词义消歧评测推动了该领域的研究。英语词义标注语料库有基于词典义项的SENSEVAL-1语料库和以WordNet为词义系统的SemCor语料库、DSO语料库、SENSEVAL-2语料库,以及结合WordNet和Wordsmyth知识库的SENSEVAL-3语料库。在SENSEVAL评测中,研究者进一步加入外部知识库,完善了竞赛提供的词义标注集,相关研究如Wu等[2]和Palmer等[3]。作为基础语言资源,词义标注语料库可以服务于有监督的词义消歧,进而为语言理解、机器翻译和词汇学研究提供支持。例如,Chan等[4]利用词义标注语料库建立消歧模型,并应用于机器翻译系统,有效改善了翻译效果。Hu等[5]利用牛津英语词典的例句建立词义标注语料库,并借助BERT语言模型实现了细粒度的历时词义演变分析,从而揭示了义项竞争和合作的规律。

现有的汉语词义标注语料库以现代汉语为主,如北京大学汉语词义标注语料库(STC)、台湾“中研院”中文词义标注语料库SSMS、新加坡国立大学华文教材词义标注语料库、汉语二语教学词义标注语料库等。北京大学的STC语料库基于《现代汉语语义词典》的词义体系,对1998年1月和2000年1-3 月的《人民日报》(总计约642万字)进行多义词义项标注,共标注了966个多义名词和动词的义项[6]。……

登录APP查看全文