齐佳琪，迟呈英，战学刚

（辽宁科技大学 计算机与软件工程学院，辽宁 鞍山 114051）

文本分类（Text classification），作为自然语言处理（Natural language processing，NLP）和机器学习（Machine learning）领域最受关注的应用之一，是处理海量信息的有力手段［1］。它是指用电脑对文本集或实体按照一定的分类体系或标准进行自动分类标记［2］。文本分类是一个监督式学习过程，需要一个给定的分类体系和一组带标签的文本，在此基础上建立文本特征和文本类别之间的关系模型，利用资源构造分类器，将待分类文本在不同的、事先定义的类别中进行类别判断。

根据文本不同，分类系统可以分为中文文本和英文文本。英文文本可以根据空格进行切分，不需要另外的分词处理。中文文本是一连串的汉字连接构成句子，基本语素是词而不是字，需要对其进行分词处理。分词处理采用词向量技术实现。然而，由于中文本身的特点在分词过程中容易出现错误传播，并且随着传播的进行错误会逐渐加剧，影响文本分类效果。

文本作为非结构化字符数据，要实现计算机识别，就需要把文本转换成为计算机可以识别的数字。1989年，Hinton［3］提出了分布式表示（Distributed representation）概念，Mikolov［4］等提出了词向量算法，然后逐步采用Word2vec系列的分布式表示方法。2018年Devlin等提出了预训练模型（Bidirectional encoder representations from transformers，BERT）［5］，在多个典型的自然语言处理任务中取得了出色的成就，使模型的效果大大提升，推动了自然语言处理的发展。2019年Sun等提出了知识增强的语义表示模型（Enhanced representation from knowledge integration，ERNIE）［6］，通过对词、实体等语义信息遮盖，使模型获取完整的语义特征，ERNIE语义模型采用了词的处理，使得中文文本语义更加完整。……