李进

摘要：基于语言模型的预训练已经在很多自然语言处理任务中取得了显著的性能，然而由于起巨大的模型容量和复杂的计算，往往需要消耗大量的存储资源，在资源受限的设备上难以发挥其性能优势，本文对当前被广泛应用的BERT压缩技术从效率，性能以及压缩强度等多个角度进行了分析。

关键词：预训练;模型压缩;BERT

1预训练模型BERT

预训练模型BERT采用Transformer模型中提出的编码层结构，应用了多层堆叠编码层，每个编码层由自注意力子层及前馈神经网络子层组成，并在每个子层后应用了残差连接和层正则化操作，以多任务学习作为训练目标。任务一是掩码预言模型，即随机掩盖语句子中15%的词，并通过模型对掩盖掉的词进行预测，值得注意的是，在BERT中并不是将所选择15%的词全部使用MASK标签进行掩盖，而是将其划分为三份，其中80%用MASK标签掩盖，10%不做任何操作，10%随机替换为其他词。任务二是预测两个句子之间的关系，即句子B是否为句子A的下文，以此来捕捉句子之间的关系，BERT模型因为其强大的性能和泛化能力在多项NLP任务中取得了最佳性能，但是由于其庞大的模型容量以及对存储的巨大消耗，也衍生了很多针对BERT的压缩技术。

2基于知识精炼技术的BERT压缩

知识精炼技术是一种常用的模型压缩手段，其主要的方式主要使子模型去学习教师模型的预测结果，从教师模型预测得到的更软的分布中去学习教师模型中的知识，从而使子模型能够达到模拟教师模型行为的目的。……