李炳臻 刘克 顾佼佼 姜文志

摘  要： 回顾了卷积神经网络的发展历程， 介绍了卷积神经网络的基本运算单元。在查阅大量资料基础上，重点介绍了有代表性的AlexNet、VGGNet、GoogLeNet、ResNet等，对他们所用到的技术进行剖析，归纳、总结、分析其优缺点，并指出卷积神经网络未来的研究方向。

关键词： 卷积神经网络; AlexNet; VGGNet; GoogLeNet; ResNet

中图分类号：TP399          文献标识码：A     文章编号：1006-8228（2021）04-08-05

Absrtact： This paper reviews the development of convolutional neural networks， and introduces the basic operation unit of convolutional neural networks. On the basis of consulting a large amount of information， this paper focuses on the representative convolutional neural networks such as AlexNet， VGGNet， GoogLeNet and ResNet etc.， analyzes the technologies they used， summarizes and analyzes their advantages and disadvantages， and points out the future research direction of convolutional neural networks.

Key words： convolutional neural networks; AlexNet; VGGNet; GoogLeNet; ResNet

0 引言

卷积神经网络（Convolutional Neural Networks，CNN）是一类包含卷积计算并且含有深层次结构的深度前馈神经网络，是深度学习的代表算法之一[1-2]，21世纪后，随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展。较之于传统方法，卷积神经网络的优点在于可自动提取目标特征，发现样本集中特征规律，解决了手动提取特征效率低下、分类准确率低的不足，因此卷积神经网络被广泛应用于图像分类、目标识别、自然语言处理等领域[3]，取得了瞩目的成就。

1 卷積神经网络的发展历程

卷积神经网络最早可以追溯到1943年，心理学家Warren和数理逻辑学家Walter在文献[4]第一次提出神经元的概念，通过一个简单的数学模型将神经反应简化为信号输入、求和、线性激活及输出，具有开创性意义;1958年神经学家Frank通过机器模拟了人类的感知能力[5]，这就是最初的“感知机”，同时他在当时的计算机IBM704上完成了感知机的仿真，能够对三角形和四边形进行分类，这是神经元概念提出后第一次成功的实验，验证了神经元概念的可行性。以上是神经元发展的第一阶段。……