陈 宁，段友祥，孙歧峰

中国石油大学（华东）计算机科学与技术学院，山东 青岛 266580

近年来，随着互联网的蓬勃发展、智能设备与社交网络的普及，多媒体数据在互联网上爆炸式地增长。这些海量的数据包括文本、图像、视频及音频等各种模态形式，同一事物会有多种不同模态数据的描述。这些数据在形式上“异构多源”，而在语义上相互关联。

单模态检索[1-2]为信息检索的传统方式，要求检索集与查询集为相同模态，如文本检索文本[3]、图像检索图像[4]、视频检索视频[5]等。以图像检索为例，单模态检索技术主要包括基于文本关键字检索、基于图像底层特征索引以及基于语义建模和匹配等。虽然这些方法对于单模态检索来说能取得较好的检索结果，但是获取到的信息仅仅局限于一种模态数据，这种单一模态信息检索已不能满足人们高效、全面、准确获得对象信息的需求。因此如何对描述同一事物的各种模态数据进行高效检索成为信息检索领域一个重要的研究课题。面对海量、互联的多媒体数据，人们渴望通过其中一种模态数据来检索相关联的其他不同模态的补充数据。如图1 所示，左侧通过图像检索出相关文本，右侧通过文本检索出相关图像，描述同一个事物的文本与图像属于不同模态的数据，这种不同模态数据之间的互检索方式称为跨模态检索。

Fig.1 Schematic diagram of cross-modal retrieval图1 跨模态检索示意图

当前解决跨模态检索问题的一般技术框架如图2所示：首先对不同模态数据的特征进行提取；……