张笑铭,,

(1.中国科学院大学 电子电气与通信工程学院,北京 100049; 2.中国科学院微电子研究所,北京 100029)

0 概述

随着深度学习技术的发展,分类问题开始采用深度神经网络结构,其中卷积神经网络作为一个重要组成成份,已经应用于计算机视觉等领域。目前,在卷积神经网络的研究领域,有多种网络结构被提出,如LeNet[1]、AlexNet[2]、VGG[3]、GoogLeNet[4]、NIN[5]和ResNet[6]等,虽然其效果相比传统分类算法具有明显的提升,但在对分类准确率有较高要求的场合中,该单一网络结构只有通过加深层数才能实现精度的提升,而加深网络的层数会导致训练过程难以收敛,并产生梯度消失的现象。

为了在现有网络结构下继续提升精度,学者考虑将多种结构的卷积神经网络进行结合,使用Stacking算法[7]将卷积神经网络当作基分类器,然后选择合适的元分类器,最终实现更高的精度。但是,由于卷积神经网络最终的分类类别较多,其中大型数据集有100多个类别,此时结合N个卷积神经网络的Stacking算法,其输入元分类器的向量维度为N×K(K为类别个数),该向量维度导致元分类器难以训练以及其泛化能力的降低。文献[8]提出基于概率的Stacking算法,将所有基分类器的概率输出取平均后作为元分类器的输入。文献[9]提出基于投票的Stacking算法,选择基分类器概率最大的输出作为分类结果,将所有结果相加后输入元分类器。上述算法都基于单个样本的特性,没有考虑整体训练样本的统计特性,因而提升效果有限,甚至在某些数据集下出现效果下降的现象。……