房小兆，唐宝动，韩 娜，孙为军，滕少华

1(广东工业大学 计算机学院，广州 510006)

2(广东工业大学 自动化学院，广州 510006)

1 引 言

随着互联网技术的迅速发展，人们对多模态数据之间的交叉检索的需求越来越迫切.多模态数据的最大特点是用多种异构数据描述同一个对象[1-5].例如在维基百科网上，一般由图片、文本等多个不同模态的异构数据描述同一个语义对象；YouTube视频网站上每一段视频大都有相应的文本或者标签进行描述；在微博上发布动态消息时，往往会同时附加一段文字或者一些标签描述上传照片或者视频中的内容.这里的“模态”(Modality)是指数据的类型或者表现形式，不同数据类型对应不同的模态，如：“图像”是一个模态、“文本”是一个模态、“音频”也是一个模态等等.相应的多模态是指用不同的数据类型描述一个共同的语义.在实际应用中，人们经常需要利用图片检索相关文本或者用文本检索相应的图像，类似这种用一种模态的数据去检索另外一个模态数据的任务被称为跨模态检索.然而不同模态数据之间结构上的异构性(Heterogeneous gap)以及语义鸿沟(Semantic gap)等因素给跨模态检索任务造成一定的困难.

为了消除异构多模态数据之间的差异性，很多研究者提出通过算法学习异构数据的统一的潜在语义表示.如：典型相关性分析(Canonical Correlation Analysis，CCA)[6]投影两种模态数据到统一的潜在空间中.偏最小二乘法(PartialLeast Squares，PLS)[7]不但学习统一的空间而且进一步考虑模态内以及模态之间的潜在……