吴明月，周栋，赵文玉，屈薇

基于流形学习的句向量优化

吴明月1，2，周栋1*，赵文玉1，2，屈薇1，2

（1.湖南科技大学 计算机科学与工程学院，湖南 湘潭 411201； 2.服务计算与软件服务新技术湖南省重点实验室（湖南科技大学），湖南 湘潭 411201）（ ∗ 通信作者电子邮箱dongzhou1979@hotmail.com）

句向量是自然语言处理的核心技术之一，影响着自然语言处理系统的质量和性能。然而，已有的方法无法高效推理句与句之间的全局语义关系，致使句子在欧氏空间中的语义相似性度量仍存在一定问题。为解决该问题，从句子的局部几何结构入手，提出一种基于流形学习的句向量优化方法。该方法利用局部线性嵌入（LLE）对句子及其语义相似句子进行两次加权局部线性组合，这样不仅保持了句子之间的局部几何信息，而且有助于推理全局几何信息，进而使句子在欧氏空间中的语义相似性更贴近人类真实语义。在7个文本语义相似度任务上的实验结果表明，所提方法的斯皮尔曼相关系数（SRCC）平均值相较于基于对比学习的方法SimCSE（Simple Contrastive learning of Sentence Embeddings）提升了1.21个百分点。此外，将所提方法运用于主流预训练模型上的结果表明，相较于原始预训练模型，所提方法优化后模型的SRCC平均值提升了3.32～7.70个百分点。

流形学习；预训练模型；对比学习；句向量；自然语言处理；局部线性嵌入

0 引言

在网络文本呈指数增长的互联网时代，需要处理大规模的无标签文本，同时更准更快地给用户提供感兴趣的相关内容。其中，句向量（sentence embedding）［1］是一个重要的研究方向，挖掘句与句之间的语义关系（如语义相似度、语义相关性等）对数据挖掘［2-3］、多模态［4-5］、信息检索［6-7］等领域意义重大［8］。……