张 成，万 源，强浩鹏

（武汉理工大学理学院，武汉 430070）

（*通信作者电子邮箱wanyuan@whut.edu.cn）

0 引言

随着图像、文本、视频等多媒体数据快速增长，不同模态间的跨模态检索近年来引起了人们的广泛关注。跨模态检索的目标在于给定一个模态查询对象，找到另一模态中语义相似的集合，如图像检索文本、文本检索图像等。为了满足现实世界中检索速度快、存储空间小的检索需求，哈希算法通过二进制哈希码表示原始数据，在近似近邻搜索［1］应用中时间复杂度可以达到常量或次线性［2］，因此被广泛用于跨模态检索。

当前的跨模态哈希方法大致可以分为传统跨模态哈希方法［3］和深度跨模态哈希方法［4］。传统跨模态哈希方法利用手工提取的浅层特征学习哈希码，将训练过程分为两步：1）提取数据手工特征（如尺度不变特征变换（Scale-Invariant Feature Transform，SIFT）［5］特征）；2）将手工特征投影到汉明空间。典型的传统跨模态哈希方法如跨视图哈希（Cross View Hashing，CVH）［6］基于单视图谱哈希提出将不同视图的相似样本映射为相似哈希码；语义关联最大化（Semantic Correlation Maximization，SCM）［7］通过语义相似度矩阵分解来减少样本间相似度计算时间；跨模态相似性敏感哈希（Cross-Modality Similarity Sensitive Hashing，CMSSH）［8］利用提升方法联合不同模态数据的表征与相似度，将数据到公共汉明空间的映射表示为二进制分类问题；语义保留哈希（Semantics-Preserving Hashing，SePH）［9］通过最小化模态间KL散度（Kullback-Leibler Divergence，KLD）来让不同模态数据分布相同。这些方法特征提取的过程独立于哈希码学习，因而学习到的手工特征并非哈希码的最优解。近年来，深度学习因其在特征学习方面的优异性能而广泛应用于人脸识别［10］、图像检索［11］、目标检测［12］等领域。……