杨飞扬，崔荣一，赵亚慧，金 晶，李飞雨

(延边大学 计算机科学与技术学院 智能信息处理研究室，吉林 延吉 133002)

0 引言

少数民族语言文字造就了中华文字的多样性，是中华文字的重要组成部分，为民族文化的发展提供了重要的支持。朝鲜语是我国朝鲜族的官方语言，但我国在朝鲜语自然语言处理方面的研究起步晚、基础差、缺少大规模数据。相比朝鲜与韩国，我国的相关研究还处于基础阶段，无论从知识产权与夺取信息优势的角度，还是自主创新与经济效益的角度，都需要大力推进我国朝鲜语信息处理建设。因此，本研究对加强民族交流团结与推动社会主义文化大发展具有重要的现实意义和迫切的时代需求[1-2]。

目前对于朝鲜语句子的人工标注，结构划分需要花费大量的精力与时间，针对这一问题，利用表征学习的逻辑，从语言本身出发，Li等人[3]提出了以汉字中偏旁部首为特征粒度的charCBOW和charSkipGram模型来提升文本相似度计算的效果，Cui等人[4]与Joshi等人[5]证明了在预训练中屏蔽粗粒度标记对语言模型是有帮助的。Devlin等人[6]提出的BERT(Bidirectional Encoder Representations from Transformers)模型对海量公开数据集进行预训练，在11个自然语言处理下游任务中取得了非常好的效果，其中，英文使用Word Piece子词粒度，中文使用字粒度。因此，本研究将朝鲜语切分为音素、音节、子词、词与隔写5种不同粒度。根据预处理后不同粒度切分后的序列中包含的特征信息的不同，探讨在朝鲜语自然语言处理下游任务中甄选最优粒度来提升模型效果。……