王 琪，王 睿，王 力

(1.南阳理工学院信息工程学院 河南 南阳 473004； 2.乐凯华光印刷科技有限公司 河南 南阳 473004；3.南阳理工学院土木工程学院 河南 南阳 473004)

0 引言

随着网络的发展，网络信息增长迅速，且多样化发展，如图像、文本等，这类信息被称为跨模态数据。这些跨模态数据并不是各自独立存在的，他们之间存在很大的关联性，例如，在同一个网页上出现的文本和图像往往有交叉信息，也即文本包含了图像的语义解释。且文本信息往往比底层视觉信息具有更高的语义判别特性，这为图像检索问题中长期存在且并未有效解决的“语义鸿沟”问题提供了一个新的解决方向。然而，现有的检索方法中，通过文本或图像检索，往往是独立运用了单一的文本或图像信息，并没有有效利用文本和图像之间的关联性。主要原因是文本和图像表征存在于两个异构空间，不同的分布难以融合判断，为解决有效利用文本中的深层有效信息的问题，典型相关分析法(CCA)是近年中的经典算法，此算法通过最大化文本信息矩阵和图像信息矩阵两个模态之间的关联性使其映射到一个同构空间，从而计算相似度达到检索目的。围绕CCA方法提出了多种研究方法[1，2]，N Rasiwasia等提出语义关联匹配(SCM)方法[3]，Gong Y等人提出了三视角CCA方法[4]，利用实际标签达到CCA方法的语义增强。但由于CCA的线性映射无法很好地拟合现实数据的线性问题，核典型相关分析法(KCCA)被提出用于跨模态学习，KCCA方法分别通过非线性映射到高维空间，在高维空间中进行CCA的同构训练[5，6]，但由于其数据维度的增加使得计算量随数据的增加呈指数增加，因此训练速度较慢，计算代价较高。……