郭江华，苑迎春，2+，王克俭，2，何 晨

(1.河北农业大学 信息科学与技术学院，河北 保定 071001；2.河北农业大学 河北省农业大数据重点实验室，河北 保定 071001)

0 引 言

预训练语言模型BERT(bidirectional encoder representations from transformers)经过有监督微调(fine-tune)后展示出了强大的文本表征能力[1]。然而在没有微调的情况下，BERT便失去了良好的句嵌入表征能力[2]。模型嵌入表征方面的现有研究表明，大多数语言模型学习到的嵌入在向量空间上的分布并不均匀[3，4]：计算句嵌入时，高频词的词嵌入将会主导句嵌入，难以体现差异性[5]；而低频词的词嵌入分布较稀疏，存在表征语义能力较弱的“空洞”[6]。这些问题限制了模型的句嵌入表征能力。

最近的研究表明，对比学习(contrastive learning)可以有效提高句嵌入分布的均匀性[5，7]。SimCSE(simple contrastive learning of sentence embeddings)[7]就采用了对比学习方法，在无监督情况下通过dropout[8]作为数据增强方式构建正样本，并采用批内负样本策略，有效提高了BERT在无监督情况下的句嵌入表征能力。然而，无监督SimCSE仍有不足之处：一方面它只基于dropout构建正样本，构造方式有待丰富；另一方面由于dropout机制本身带来的训练与测试的不一致性，模型参数自由度更高，影响模型的泛化能力[9]。

本文基于无监督SimCSE提出无监督句嵌入学习方法SimCSE-PSER(unsupervised SimCSE combining positive sample enhancement and R-Drop)，采用dropout和位置嵌入扰动联合作为数据增强方法，从而在相同语义下构造具有更大差异性的正样本；并引入R-Drop正则化方法[9]，使用KL散度(Kullback-Leibler divergence)对模型生成的句嵌入分布进行正则约束，降低模型在训练和预测时的不一致性。

1 相关工作

近年来，无监督句嵌入表征研究进展迅速。……