APP下载

面向视觉-语言模型的递进互提示学习

2025-08-03陶俊杰张卫锋王玉霞缪翌徐领

计算机应用研究 2025年6期
关键词:集上层间编码器

doi: 10.19734/j. issn. 1001-3695.2024.10.0446

ProgCoPL: progressive co-prompting learning for vision-language models

Tao Junjie1,Zhang Weifeng1,2+,Wang Yuxia³,Miao Yi1 ,Xu Ling1 (1.Schoolofueceamp;o(lflellgee),ZgSUesit,g;2. Schoolfeeamp;niUitinZ;i Institute,Jiaxing Zhejiang 31400o,China)

Abstract:Thelarge-scalepre-trainedvision-language modelCLIPaligns imagesandtexts inasharedsemanticspace,demonstratingrobust generalizationcapabilitiesacrossdiversedownstream tasks.However,existing promptlearning methodsoftenindependently insert learnable prompt vectors intoeach layerofCLIP's visualand text encoders.This appoach results in limitedcross-modalinteraction,withindependentpromptsacrosslayersfailing toefectivelyguidetheencoders incapturing taskrelevant information.Toaddress these isses,thispaper proposedProgCoPL.This method introduced text-guided promptvectorsintothevisualencoderlayersandvision-guidedpromptvectorsintothetextencoderlayers,therebyenhancingcro-modal interactionandalignment.Furthermore,ProgCoPL incorporated informationtransmissionchannelsbetweenpromptvectors acrosslayers,enablinghierarchicalandprogressiveintegrationof taskspecificinformation.Experimentson11datasetsshow thatProgCoPLeficientlyadaptsCLIPtodownstreamtasks,significantlyimprovingitscros-datasetgeneralizationability. ProgCoPLoutperforms existing methods in multiplegeneralization tests,particularlyachieving notable advancements incrossdataset scenarios.

Key Words:multimodal;prompt learning;vision-language model; Transformer encoder

0 引言

大规模视觉-语言模型(visual languagemodel,V-L Model)已经成为当今计算机跨模态智能领域的核心技术之一。其中,以CLIP[1]为代表的模型通过图像和文本的对比学习,使得模型能够学习鲁棒的跨模态特征表示,并在图像识别等下游任务[2]中展现出较好的泛化能力。然而,直接应用预训练的CLIP模型往往无法充分适应特定的下游任务场景。由于CLIP模型的参数规模较大,传统的全参数微调方法需要大量的计算开销和训练样本,难以高效地将CLIP模型适配到特定的下游任务。

近年来,参数高效微调方法(parameter efficient fine tuning,

PEFT),如提示学习(promptlearning),提出了一种在大规模预训练模型中适配下游任务的新范式。提示学习只需在模型的输入层或中间层添加少量可学习的提示向量,并训练过程中冻结预训练模型参数,使用少量下游任务训练样本即可完成预训练模型的适配。这种全新的适配方法不仅保留了预训练模型中蕴含的丰富知识,还可以将参数高效和数据高效的方式应用到多种类型的相关下游任务中。目前,针对CLIP的提示学习大致可分为三种类型;a)文本提示学习,如 CoOp[3] (如图1(a)所示),通过在输入文本中插入可学习的提示向量,将预训练CLIP模型适配到下游任务,但其在零样本分类任务上出现了较大性能损失;b)视觉提示学习,如 VPT[4] (如图1(b)所示),则是通过在视觉编码器中引入可学习的视觉提示,使得模型能够更好地捕获视觉特征,该方法仅针对视觉表征进行调优,在领域泛化任务上表现欠佳;c)视觉-文……

登录APP查看全文

猜你喜欢

集上层间编码器
钢桥面UHPC基层与SMA面层层间施工处理方法研究
UHPC模块建筑结构抗震性能数值分析
针入度试验
基于Transformer模型的图书馆借阅量预测研究
微型全国产化精密单轴转台设计
基于多层特征融合与增强的对比图聚类
基于多模态表征学习的自动音频字幕方法
面向说话人日志的多原型驱动图神经网络方法
含孔层合板非协调广义混合元模型的层间应力分析