宫大汉，陈辉，陈仕江，包勇军，丁贵广

（1.清华大学 软件学院，北京 100084;2.清华大学 北京信息科学与技术国家研究中心，北京 100084;3.清华大学 自动化系，北京 100084;4.涿溪脑与智能研究所，浙江 杭州 311121;5.京东集团，北京 100176）

随着社交媒体的空前发展，互联网上积累了大量的用户数据，比如图像、文本、语音等。利用这些跨模态数据挖掘用户需求，提升产品服务，成为了工业界的迫切需求之一。跨模态图像文本检索是实现跨模态数据挖掘的关键技术之一。它旨在探索图像和文本之间的对应关系，实现图像和文本的跨模态信息理解，以及文本检索图像或图像检索文本的智能服务。图像和文本的跨模态检索在实际社交媒体领域有广泛的技术应用价值，比如在人机交互、商业化广告文案推荐以及内容推荐等领域，因此吸引了众多研究人员的注意力。

在实际场景中，跨模态图像文本检索面临两大挑战：1)不同模态数据的异质性阻碍了模型学习到优异的跨模态表示；2)视觉和语言之间关联丰富而复杂，准确挖掘两者的对应关系十分困难。为了解决以上挑战，前人工作提出了特征嵌入表示技术来联合学习图像和文本的特征。Wang等[1]使用双视图网络分别将图像和文本映射到共享嵌入空间中，然后采用一个保结构的双向目标函数来优化网络。Faghri 等[2]提出使用难负例来增强嵌入空间的学习，实现了性能的显著性提升。然而特征嵌入表示方法将图像和文本信息映射到统一的向量空间中，忽视了图像和文本信息的复杂性，以及两者之间信息关联的多样性和复杂性。……