翟高粤 高乾龙

摘 要：本文先介绍深层神经网络模型特点和应用，并指出其随着层数的加深发展的瓶颈及不足之处;然后引入深度残差网络的概念，以其实现代码为例，详细介绍深度残差神经网络的关键技术特点，最后通过一个实例说明深度残差神经网络在深度学习方面的应用。

关键词：深度学习;残差网络;梯度弥散;梯度爆炸

自2012年AlexNet的提出以来，各种各样的深度卷积神经网络模型相继被提出，其中比较有代表性的有VGG系列，GoogLeNet系列等，它们的网络层数整体趋势逐渐增多。以网络模型在ILSVRC 挑战赛ImageNet数据集上面的分类性能表现为例，在AlexNet出现之前的网络模型都是浅层的神经网络，Top-5错误率均在25%以上，AlexNet 8层的深层神经网络将Top-5错误率降低至16.4%，性能提升巨大，后续的VGG、GoogleNet模型继续将错误率降低至6.7%。

AlexNet、VGG、GoogLeNet等网络模型的出现将神经网络的发展带入了几十层的阶段，研究人员发现网络的层数越深，越有可能获得更好的泛化能力。但是当模型加深以后，网络变得越来越难训练，这主要是由于梯度弥散和梯度爆炸现象造成的。在较深层数的神经网络中，梯度信息由网络的末层逐层传向网络的首层时，传递的过程中会出现梯度接近于0 或梯度值非常大的现象。网络层数越深，这种现象可能会越严重。

一、深度残差网络简介

针对上述问题，如何解决由于层数加深而引起的梯度弥散和梯度爆炸的现象？一个很自然的想法是，既然浅层神经网络不容易出现这些梯度现象，那么可以尝试给深层神经网络添加一种回退到浅层神经网络的机制。……