江朝杰，杨良怀，高 楠，范玉雷

(浙江工业大学 计算机科学与技术学院，杭州 310023)

1 引 言

随着互联网和智能设备的高速发展，多模态数据每日呈百亿量级增长，其中包括文本，图像和视频等，多种异质数据源交叉融合呈现.面对海量的多模态数据，在各种大数据应用中迫切的需要高效准确的跨模态检索技术.跨模态检索的主要挑战是解决不同模态之间的语义鸿沟.为了解决这个问题，主流的解决方案是学习一种对应关系，利用该对应关系将不同模态数据映射到一个同维度的公共子空间内，并通过它们在公共子空间内的距离表达数据之间的相似性.近几年研究者们在跨模态检索任务中取得了较大进展[1].但是在许多实际检索应用中，其数据源总是不断增量迭代的，如何从新类别样本中学习，利用新增数据集对检索系统进一步更新和完善，提升检索系统性能是面临的一个新问题.

为使模型能够适应新数据的检索，这就要求跨模态检索模型具有可扩展性，同时兼容旧数据集的检索效能.但目前大多数跨模态检索模型缺乏可扩展性，并且针对现有模型的微调会导致对旧样本数据集的灾难性遗忘，导致在旧数据集上的检索性能下降[2].若采用旧数据和新数据整合后重新训练模型的方案，将会导致计算成本和数据存储开销不断增加.因此，本文采用基于增量学习的跨模态检索方法来实现模型的可扩展性.

通过增量学习实现跨模态检索模型可扩展性有以下优点：1)无需更新旧样本数据集的哈希编码；……