刘睿珩，叶 霞，岳增营

（火箭军工程大学作战保障学院，西安 710025）

（*通信作者电子邮箱1197165894@qq.com）

0 引言

自然语言处理（Natural Language Processing，NLP）的研究结合了人工智能、语言学和数学等领域的相关知识，旨在让机器能够理解人类的语言。近年来，随着人工智能领域飞速发展，特别是在深度学习技术的支持下，NLP的发展取得了巨大的进步，其任务的划分也更加细致，如词性标注、文本分类、情感分析、机器翻译、共指消解等。在这些任务中，预训练技术的发展起到了至关重要的作用。

预训练模型为解决深度神经网络中大规模参数学习问题提供了一种有效的方案，这种方法最早使用在计算机视觉（Computer Vision，CV）领域，其核心思想是先在大数据集上对深层次的神经网络进行预训练得到模型参数，然后将这些训练好的模型运用到各种具体的下游任务以避免从头开始训练并且减少对标注数据的需要，结果表明，模型的性能得到了显著提高。随着NLP 领域研究的不断深入，在大型语料库上进行预训练也被证明能够有助于下游任务。

预训练技术在本质上运用了迁移学习［1］的思想，将在相关领域数据集中学习到的先验语言知识，迁移到目标领域，以改进不同目标任务的学习效果。在现代自然语言处理任务中，用大规模语料库进行无监督训练得到的词的分布式表示［2-3］被广泛使用，其中以Word2Vec（Word to Vector）［2］为典型代表的方法实现了在低维条件下用稠密向量对词进行表示，降低了计算成本的同时提高了表示精度。……