周 楠，欧阳鑫玉

（辽宁科技大学 电子与信息工程学院，辽宁 鞍山 114051）

卷积神经网络（Convolutional neural networks，CNN）与传统识别方法相比，具有识别速度快、分类准确度高、所需特征少、可以自训练等优点，已被广泛应用于计算机视觉、智能控制、模式识别和信号处理等领域，并在图像目标识别、自然语言处理、语音信号识别等方面取得了极大的成功，成为深度学习的代表算法之一［1-2］，推动着人工智能的快速发展。

1 卷积神经网络的发展阶段

1.1 萌芽阶段

卷积神经网络的雏形最早出现于1962年，Hubel和Wiesel［3］对猫大脑中的视觉进行系统研究，整理了猫脑中各个神经元的电活动，首次提出感受野的概念，激发人们对神经网络进一步思考，并在图像识别等领域引入感受野的思想，促进了神经网络的快速发展。1980年，Fukushima等［4］提出一个神经网络结构，该结构包含卷积层和池化层，并给出神经认知机（Neocognitron）算法。这是CNN中卷积层和池化层的设计来源。

1.2 发展阶段

在此基础上，Lecun等［5］于1998年提出LeNet-5网络，构建基于梯度的反向传播（Back propagation，BP）算法对网络进行训练，采用有监督的方法，形成卷积神经网络的雏形。LeNet-5使用两个卷积层和两个全连接层，首次提出“卷积”的概念。自此以后，卷积神经网络吸引了学术界的广泛关注。LeNet-5在物体检测、人脸识别、目标检测、语音识别等方面逐渐开始被应用。但在一般的任务中，LeNet-5不如k-近邻（k-nearest neighbor，KNN）、支持向量机（Support vector machine，SVM）等算法应用广泛，发展缓慢，处于学术边缘。

2006年，Hinton等［6］提出一种具有多层神经元的深度置信网络（Deep belief networks，DBN），它是一种生成模型，通过训练各个神经元的权重，生成训练数据，训练效果特别好，大大提高了神经网络的鲁棒性。……