秦牧轩，荆晓远，吴 飞

(南京邮电大学 自动化学院，江苏 南京 210003)

0 引 言

在图像识别技术中[1-3]，零样本学习(ZSL)[4]是一种特殊的问题，在训练集中某几类样本标签缺失或者样本不存在，但是依然能够在测试任务中识别出这些样本的类别。一种全部类别共同映射的中间层特征子空间[5]技术，在零样本学习中被大量使用，通过建立一种训练类别信息与测试类别信息的连接空间，将原本使用类别信息分类能力转化到该中间层，摆脱了必须使用类别信息分类的限制。一般中间层特征空间有两种：属性(attribute)特征空间[6-7]和文本(text)特征空间[8-9]。

属性是人为定义的特征，如“形状”“纹理”“是否含有某个属性”等可以描述类别的语义特性，可以利用属性信息学习到新的类别，如Lampert等[6]提出的直接属性预测模型(direct attribute prediction，DAP)。

但是属性的分类效果取决于属性的选择好坏，同时会消耗人力物力。利用自然语言处理技术(NLP)使用文本特征作为中间层表示，是零样本学习中另一种解决模型。文本数据容易获得，且其语义相关性可以推测出未出现的类别，利用多模态[10]技术学习将图像从视觉模态映射到文本模态，来推测未知图像。Socher等[8]利用一个2层的神经网络训练一个映射函数，映射图像特征与其对应的词向量距离最近。Frome等[9]则直接连接卷积神经网络的最顶层和skip-gram语言模型的输出层，并将上述映射关系称之为嵌入(embedding)。

直接将图像特征嵌入到语义特征会由于维度降低导致枢纽度问题[11]。文献[12-13]利用一种联合嵌入模型(structured joint embedding，SJE)，将图像特征和语义特征嵌入公共特征空间，使得公共特征空间中的各模态特征内积和最大，取得了良好的效果。……