李远沐，王展青

(武汉理工大学 理学院，武汉 430000)

1 引 言

人类往往可以通过学习少量的标注样本就能获得识别某种事物的能力，哪怕是四五岁的孩子，看了几张老虎的图片之后也能准确的识别老虎.而一般的深度学习系统往往需要大量的已标注训练数据才能拥有有限的识别能力，人类和深度学习系统之间的这种显著的差距唤起了人们对小样本学习的研究兴趣[4-6].小样本学习关注的是如何从很少的训练样本中学习到有用的信息，其目的是学习一个在训练样本很少时仍具有良好泛化能力的分类器.目前主流的小样本学习方法大致分为三大类：基于模型的方法[24]，基于度量的方法[5]和基于优化的方法[25].

小样本学习的难点在于由于训练样本很少，难以从中提取出足够的特征来满足模型需要，所以需要充分利用拥有的有限标注样本样本，利用深度学习模型提取其中的“深度特征”.近年来深度神经网络(DNN)的许多巨大突破[1-3]都相当的依赖于规模庞大的标注训练集，小样本领域缺乏足够的样本来更新传统DNN模型中大量的参数，因而无法训练到理想的模型.同时DNN极度依赖网络的训练过程，在训练集较小，网络较深时，极易出现过拟合.而且少量的标注样本并不能代表数据真实的分布，导致得到的分类器方差较大，从而导致模型泛化能力不强，常用的微调(Fine-tuning)技术在小样本学习也会产生过拟合.为了使得少量标注样本得到充分利……