摘  要：文章针对多标签文本分类这一热点问题，采用“预先训练模型+微调策略”模式，即研究持续学习语义理解框架ERNIE 2.0和基于知识蒸馏的壓缩模型ERNIE Tiny预先训练模型，以及倾斜的三角学习率STLR微调策略在用户评论多标签文本数据集中的实践。相对经典语义表征模型BERT，采用ERNIE 2.0模型的效果可提高1%以上，采用ERNIE Tiny模型的速率可提升3倍左右;相对默认微调策略，采用倾斜的三角学习率STLR微调策略的效果同样可再提高1%左右。

关键词：多标签文本分类;预先训练模型;微调策略;知识蒸馏

中图分类号：TP391.4  文献标识码：A  文章编号：2096-4706（2021）17-0087-05

Abstract： Aiming at the hotspot issue of multi label text classification， this paper adopts the mode of “pre training model + fine tuning strategy”， that is， to study the continuous learning semantic understanding framework ERNIE 2.0， the compression model ERNIE Tiny pre training model based on knowledge distillation， and the practice of inclined triangular learning rate STLR fine tuning strategy in user comments multi label text data sets. Compared with the classical semantic representation model BERT， the effect of ERNIE 2.0 model can be improved by more than 1%， and the rate of ERNIE Tiny model can be increased by about 3 times; compared with the default fine tuning strategy， the effect of inclined triangular learning rate STLR fine tuning strategy can also be improved by about 1%.

Keywords： multi label text classification; pre training model; fine tuning strategy; knowledge distillation

0  引  言

多标签文本分类是自然语言处理中一个重要而富有挑战性的任务，与通常一个文本仅归属于一个标签的单标签文本分类不同[1-3]，多标签文本分类任务则是将文本同时归属于一个或多个标签，并且多个标签之间可能存在更加复杂的关系。

随着深度神经网络的发展，研究者提出各种基于深度神经网络的多标签文本分类模型，特别是将多标签分类任务当作序列生成问题，考虑标签间相关性的序列到序列Seq2Seq模型与考虑输入文本关键信息的注意力Attention机制结合的各类算法大放异彩，进一步提升多标签文本分类模型的性能。与此同时，将上游预先训练语言模型应用于自然语言处理下游特定任务这个划时代的思想，让预先训练模型PTMs（Pre-trained models）渐渐步入人们的视野。随着ELMo、GPT、BERT等预先训练模型在自然语言处理任务方面取得SOTA结果，一系列以BERT为基础的改进模型相继被提出，大大推动自然语言处理领域的进步。……