储岳中，汪佳庆，张学锋，刘 恒

(1. 安徽工业大学计算机科学与技术学院 安徽 马鞍山 243032；2. 安徽省工业互联网智能应用与安全工程实验室 安徽 马鞍山 243023)

自从深度残差网络ResNet 被提出来并在ILSVRC2015 比赛中取得冠军后，许多研究者把目光放在了ResNet 的改进工作上，由此出现了一大批优秀的基于残差结构的卷积神经网络。目前为止改进大体上可分为4 类：1)是对输入模块的数据进行split-transform-merge 操作，例如使用分组卷积的ResNext[1]和使用层级残差结构的Res2Net[2]，它们能在降低消耗的同时增加网络的精度。2)在残差结构里引入注意力机制，例如加入通道自注意力机制的SENet[3]、加入多尺度自适应调节感受的SKnet[4]、使用分组注意力机制的ResNeSt[5]。注意力机制的使用可以让网络有偏向地选择重要的特征图进行特征提取，从而提高精度。3)优化模块拓扑结构，例如使用预先激活方式的ResNetV2[6]，使网络易于优化并提高模型的正则化，以及每个stage 采用不同模块来优化拓扑结构的IResNet[7]，加强了信息在网络间的传播，减少了信息损失。4)对残差网络整体进行优化，例如提出让网络变得更宽的WRN[8]和建立密集连接从而缓解梯度消失、加强特征传播的DenseNet[9]。

上述网络大部分都是在ResNet 的瓶颈结构基础上进行改进的。瓶颈结构由一条主干和一条残差支路组成，主干上数据先由1×1 点卷积进行降维，再经过3×3 卷积块进行特征提取，最后由1×1 点卷积升维，卷积过程中还使用BN 操作进行归一化以及Relu 函数增加非线性。先降维最后升维的操作大大降低了3×3 卷积所需的计算量。……