常东良，尹军辉，谢吉洋，孙维亚，马占宇

面向图像分类的基于注意力引导的Dropout

常东良1，尹军辉1，谢吉洋1，孙维亚2，马占宇1

(1. 北京邮电大学人工智能学院，北京 100876； 2. 南水北调中线信息科技有限公司，北京 100176)

当一个较大的神经网络在较少的训练数据上训练时，不可避免的会遭遇过拟合问题，进而在测试数据集上泛化性能较差。因此，提出了多种基于Dropout的正则化方法来缓解这个问题。虽然，这些方法不能直接促使模型关注有较低判别力的特征，但对减少过拟合同样非常重要。为解决该问题，提出了一种基于注意力引导的Dropout (AD)，利用自监督机制更高效地缓解特征描述算子之间的协同自适应问题。AD包含2个独特的组件：①特征的重要性度量机制，通过SE-Block度量得到每个特征的重要程度；②基于可学习丢弃概率的Dropout，通过丢弃“较好”的特征检测算子，强迫“较差”的特征检测算子学习到一个较好的特征表示，从而缓解特征检测算子之间的协同自适应并促使模型学习拥有较低判别力的特征。实验结果表明该方法可以容易地被应用到各种卷积神经网络(CNN)结构里，并获得较好的性能。

深度神经网络；过拟合；Dropout；自注意力机制；图像分类

深度神经网络已经极大地推动了计算机视觉领域的发展，在诸多极具挑战的视觉任务中获得了极大地成功，如：目标检测[1]、图像分类[2]、语义分割[3]等。然而，海量的参数使得神经网络极易过拟合，因而在实际应用中需要多种多样的正则化技术。……