段瑞雪,巢文宇,张仰森

(1.北京信息科技大学 计算机学院,北京 100192；2.北京信息科技大学 信息管理学院,北京 100192；3.国家经济安全预警工程北京实验室,北京 100044)

0 引言

近年来自然语言处理领域发生了很大的变化，文本表示方法也从传统的one-hot编码，发展为词嵌入模型。词嵌入模型将文本内容简化为K维向量运算，避免了One-hot编码的维度灾难以及无法表示词间关联关系的缺点。Word2Vec[1]等词嵌入表示方法的出现，可以更好地表示词语之间的语义相似度，在识别近义词、词性分析等领域获得了广泛的应用。但这些方法都是针对某一特定任务和特定语料单独训练词向量，往往无法迁移，只能运用于特定领域特定问题，效果也不是很好。随着深度学习技术的发展，预训练语言模型问世。BERT[2](bidirectional encoder representations from transformers)融合了出现在它之前的ELMo[3](embeddings from language model)和GPT[4](generative pre-training)的优点，采用基于fine-tuning的双向语言模型，在语言推理任务、问答、常识推理任务、语义相似度和分类任务等多项任务中刷新了之前的记录。

本文对BERT模型在下游任务中的应用效果进行了综述。介绍了BERT模型的内部结构，BERT模型的输入、输出形式，基于BERT模型的预训练策略；从文本分类、机器阅读理解和文本摘要等3个任务出发，阐述了如何将BERT模型应用于这类任务中，通过对比的方式展示BERT模型的效果；并对BERT模型的改进策略进行了展望。

1 BERT模型

1.1 BERT模型概述

BERT模型可以理解为一个通用的语言模型，为不同的NLP任务提供支持。目前使用feature-based 和fine-tuning两种策略来预训练模型。feature-based的方法需要根据不同的任务设定不同的结构，把预训练的结果当作额外的特征，比如Word2Vec就是feature-based的。……