安徽理工大学 胡 干

安徽理工大学 安徽理工大学环境友好材料与职业健康研究院（芜湖） 梁兴柱

蒸馏是一种让较少参数的学生模型学习大型教师模型知识的有效方法，然而这样高性能的教师模型往往很难获得。因此，一些研究人员提出了一种让每个学生模型相互学习的策略，以取代传统的师生学习范式。虽然这种方法最近取得了良好的效果，但学生网络之间的相互学习很容易提前达到饱和。故此提出了一种基于互学习的在线蒸馏系统(MLS)用于在线知识蒸馏，该系统为每个学生模型提出了一个权重评估机制(LFS)和一个虚拟教师。虚拟教师是通过计算得到的权重结合学生网络的输出来构建的，这样学生就可以在下一阶段从表现更好的同伴网络那里学到更多知识。通过将所提出的方法应用于三个公共数据集CIFAR10、CIFAR100和Tiny-ImageNet，实验结果表明，本文模型是有效的，可行的。

深度神经网络近几年在解决一些问题时展现了它的优越性，性能强的大型模型往往运行缓慢、笨重并且占据大量内存，这限制了神经网络在移动端的应用。为了解决这一问题，很多方法被提出，比如二值化，剪枝，轻量化模型设计以及知识蒸馏等等。知识蒸馏是一种两阶段模型压缩方法，一般步骤为预先训练一个功能强大的教师模型，然后将处理过的教师知识传递给学生模型。但是现实生活中往往得不到教师网络，所以基于互学习的在线蒸馏方法被提出。……