Tan Liwen’，Zhou Yi^′ ，Liu Yin1，Cao Yin²+ （1.Scholofomucationamp;InfoationEnginering，Choging UniersityfPostsamp;elecomicains，hoging4oina; 2.Dept.of Intelligent Science，Xi'anJiaotong-Liverpool University，Suzhou Jiangsu 215ooo，China）

Abstract：Modalitydiscrepancies haveperpetuallyposedsignificant chalenges fortheapplicationofAACand acrossall multi-modalresearchdomains.Faciliatingmodelsincomprehendingtextinformationplaysapivotalroleinestablishinga seamless connection between thetwo modalities of textandaudio.Recent studies haveconcentratedonnarrowingthedisparity between thesetwo modalities viacontrastive learning.However，bridgingthegapbetweenthem merelybyemployingasimple contrastivelossfunctionishallenging.Inordertoreduceteinfluenceofmodal diffrencesand enhancetheutilizationf the modelforthetwomodalfeatures，thispaperproposed SimTLNet，anaudiocaptioning methodbasedonmulti-modalrepresentationlearning byintroducing anovelrepresentationmodule，TRANSLATOR，constructingatwin representation structure，and jointly optimizingthemodel weights throughcontrastive learning and momentum updates，which enabledthe model toconcurrentlylearnthecommonhigh-dimensional semantic informationbetwen theaudioandtextmodalities.Theproposed method achieves 0.251，0.782，0.480forMETEOR，CIDEr，and SPIDEr-FLon AudioCaps dataset and0.187，0.475，0.303 for Clotho V2dataset，respectively，whicharecomparablewith state-of-the-art methodsandefectivelybridgethediferencebetween the two modalities.

Key words：audio captioning；representation learning；contrastive learning；modality discrepancies；twin network

0 引言

自动音频字幕（AAC）是一项多模态生成任务，它联合音频和文本两种模态，生成音频的描述性字幕[1]。AAC研究的适用性是多种多样的，包括借助音频到文本的转换以帮助听障人士、构建面向内容的智能人机交互系统等领域[2]。近年来，得益于DCASE 挑战和Clotho[3]、AudioCaps[4]等数据集的发布，AAC研究受到了极大的关注，并取得了实质性进展。

目前主流的AAC方法采用编码器-解码器系统架构。具体来说，利用PANNs[5] HTS-AT^[6] 等音频编码器来提取对数梅尔频谱、梅尔倒谱系数等声学特征，然后由文本解码器对提取的声学特征进行解码以生成对应的音频字幕。文本解码器通常遵循序列到序列的设计，近年来，随着Transformer架构的发展，越来越多优秀的解码器如GPT-2[7]、BART[8]等逐渐成为文本解码器的首选。

目前AAC领域仍面临着一个重要的挑战，即音频模态和文本模态之间存在巨大的模态差异。随着基于对比语言-图像预训练方法（contrastive language-image pretraining，CLIP）[9]在图像字幕中的广泛应用，对比学习逐渐受到研究者的关注。CLIP将模型分为两个分支，通过两个独立的编码器分别提取来自两个分支中对应模态的特征，然后优化对比损失来缩小两个模态之间的差异。Elizalde等人[通过将CLIP中的图像编码器替换为音频编码器，提出了对比语言-音频预训练（contrastivelanguage-audiopretraining，CLAP），成功将CLIP应用到音频和文本的多模态任务中。Wu等人[1]通过大规模训练，首次将CLAP应用到AAC领域中。文献[12]使用了类似的架构，但采用InfoNCE损失函数取代CLAP中的损失函数来缩小两种模式之间的差异。上述方法证明了对比学习确实可以作为缩小模态差异的有效方法，但它们都是通过使用一个对比损失函数，促使音频编码器间接学习文本编码器提取到的文本特征。……