朱 梦，闵卫东，张 煜，段静雯

1.南昌大学 信息工程学院，南昌330031

2.南昌大学 软件学院，南昌330047

3.江西省智慧城市重点实验室，南昌330047

作为下游网络，卷积神经网络（Convolutional Neural Networks，CNNs）在计算机视觉中发挥了重要的作用，比如目标检测、语义分割、图像生成等。更好的、更快的卷积神经网络架构一直是研究的热点。而且，卷积神经网络已经被应用到许多实际项目中，比如交通管理[1-3]、摔倒检测[4-7]、人脸识别[8-10]等。网络深度已经被许多工作[11-13]证明是非常重要的。但是深层网络存在退化的问题：随着网络深度的增加，准确率变得饱和，然后急速下降。为了解决深层网络退化的问题，ResNet[14]提出了残差连接。ResNet开启了卷积神经网络架构设计的新纪元，以致于后来的卷积神经网络都开始借鉴残差连接的思想。

PreResNet[15]证明了残差连接的重要性，并提出了预激活残差模块。Wide ResNet[16]通过加ResNet的宽度，从而更加有效地提升ResNet的性能。ResNeXt[17]将分组卷积融合到残差瓶颈模块中，提出了多路信息传输的结构。Inception系列[18-20]提出了多路的、多核的级联连接模块。DenseNet[21]提出了密集级联连接模块，有效地减少了网络参数量。DPN[22]通过结合残差连接和密集级联连接，使特征既能重利用，又能再发现。

最近，各种不同形式的注意力被应用到卷积神经网络中，有效地提升了网络的性能。图1列举了卷积神经网络中三种经典的注意力。SENet[23]开创性地提出了Squeeze-and-Excitation（SE）通道注意力，自适应地重标定通道特征响应。MobileNetV3[24]考虑到SE通道注意力中的Sigmoid计算代价是昂贵的，提出了计算更轻量的HardSigmoid来替换Sigmoid。……