党张敏，喻崇仁，殷双飞，张宏娟，陕 振+，马连志

(1.中国航天科工集团第二研究院 七〇六所，北京 100854；2.中国航天科工集团第二研究院 军代室，北京 100854)

0 引 言

跨模态数据所具有的高维、异构等特点使得检索过程耗费大量的时间和存储空间。如何提升跨模态检索[1]的检索效率并降低其存储消耗成为了目前学术界和工业界研究的重点。其中基于哈希码的跨模态检索方法由于其较低的存储消耗和快速的检索速度，成为了解决大规模跨模态数据检索的有效手段。

跨模态哈希检索[2]方法通过学习哈希函数将原始特征空间映射到低维的汉明空间，同时保持原始特征空间数据之间的相似性不变。跨模态哈希检索方法主要分为有监督的跨模态哈希检索与无监督跨模态哈希检索方法。现有的无监督跨模态哈希[3]方法更多关注哈希码的生成阶段，忽略特征提取阶段，导致检索性能受到影响。为解决上述问题，提出基于多模态预训练模型CLIP[4]与注意力融合机制[5]的无监督跨模态哈希检索算法CAFM_Net(CLIP-based attention fusion mechanism network)。

CAFM_Net主要贡献如下：

(1)使用CLIP提取原始样本特征，引入注意力机制加强显著区域的权重，弱化非显著区域的影响。

(2)设置模态分类器与特征提取器进行对抗学习，提取更丰富的语义特征，使不同模态特征与所生成哈希码语义趋于一致。

1 背景与相关工作

1.1 无监督跨模态哈希算法

现有的跨模态哈希方法主要有两大类：利用多模态数据已有标签的有监督方法和针对成对多模态数据的无监督方法。……