刘雨萍，葛 红，曾奕斌

华南师范大学 计算机学院，广州510631

给定一个图像（文本），跨模态检索的目的是找到与其最相关的文本（图像），但是很难直接测量多模态样本特征之间的相似性。已经有很多方法提出通过学习公共子空间来缩小不同模态样本特征之间的差异性[1-3]。

基于用于公共子空间学习的信息，跨模态检索方法主要可分为监督学习、无监督学习、基于文档对排序的方法和基于列表排序的方法。无监督学习方法中最经典的算法之一是典型相关分析（canonical correlation analysis，CCA）[4]，其通过最大程度地利用不同模态数据之间的相关性来学习公共子空间。CCA 有很多变体，例如深度典型相关分析（deep canonical correlation analysis，DCCA）[5]，该算法用于研究两个数据视图的复杂非线性变换以使样本特征的最终表示形式高度相关。公共子空间的学习方法使跨模态检索的发展向前迈进了一步，像文档[4,6]这样的无监督方法利用在模态文档中共存的信息来学习跨模态数据的通用表示。偏最小二乘法（partial least squares，PLS）[6]与CCA[4]类似，它选择善于区分不同标签的特征向量。

有监督的子空间学习方法使同一类别的样本尽可能靠近，而不同类别的样本尽可能远离。例如广义多视角分析（generalized multiview analysis，GMA）[7]是CCA 的拓展算法，它使用数据的类别信息来学习子空间。学习耦合特征空间（learning coupled feature spaces，LCFS）[8]同时从两种模态中选择相关特征和判别特征，使得学习空间更加有效。

近年来，跨模态检索中普遍使用基于文档对和列表排序的方法，使得检索性能得到了很大的提高。……