侯宇昆

一、引言

目前，卷积神经网络（Convolutional Neural Networks，CNN）已成为图像、文本、语音识别等领域的研究热点之一。20世纪60年代，Hubel和Wiesel在研究猫脑皮层中发现了用于局部敏感和方向选择的神经元结构，卷积神经网络就是在此生物学的基础上发展而来的。

二、卷积神经网络的发展历程

按照时间顺序，可以将卷积神经网络的发展可以分为三个阶段：初步探索阶段；全面兴起阶段；跃进试发展阶段。

2.1初步探索阶段

这一阶段只是在初步探索卷积神经网络的结构。197开始，福岛邦彦成功开发出了一种浅层自组织神经网络认知机[1]。随后，更多的科研工作者对该网络进行了改进。认知机及其变种并不是真正意义上的深度学习模型，因为的网络层数少，并不能进行深度学习特征。

2.2全面兴起阶段

这一阶段以LeNet-5的出现为开始。1Lecun等[2]提出的LeNet-5采用了基于梯度的反向传播算法对网络进行有监督的训练，LeNet-5在手写字符识别领域的成功应用引起了学术界对于卷积神经网络的关注。同一时期，卷积神经网络在语音识别、物体检测、人脸识别等方面的研究也逐渐开展起来。

2.3跃进试发展阶段

这一阶段以AlexNet的出现为起点，它的出现是卷积神经网络的一个历史性的时刻，在此后卷积神经网络在AlexNet的基础上衍生出许多变种。2012年，Krizhevsky等[3]提出了AlexNet，使得卷积神经网络成为了学术界的焦点。AlexNet之后，不断有新的卷积神经网络模型被提出，。并且，卷积神经网络不断与一些传统算法相融合，加上迁移学习方法的引入，使得卷积神经网络的应用领域获得了快速的扩展。

三、卷积神经网络的结构

CNN基础的结构是卷积层，池化层，最后为全连接层，所有的卷积神经网络模型都是在此结构上搭建而来。

3.1卷积层

图像经过卷积层及提取出其输入特征。卷积层的运算由特征提取阶段和特征映射阶段构成。

（1）特征提取阶段。在特征提取阶段，每个神经元的输入与前一层的局部接受域相连，使用卷积滤波器做卷积操作，提取出该局部的特征。设一个n*n的局部区域内第i个像素的输入值是Xi（i=1，2，..n*n），与n*n大小滤波器相对应的值为wi，这个滤波器的有个固定的偏置量为b，这个区域最后经过卷积操作变成了一个值y，卷积操作如公式（3-1）

全连接层一般放在最后，经过全连接层后得到特征向量，可将这个特征向量用于分类或者检索。全连接层其实就是一个卷积层，只不过最后得到的是一个向量。当选择的卷积核大小与输入的大小一样大时，经过征提取和特征映射阶段后。输出大小为1*1的区域。这样不同的卷积核卷积进过此层得到的是向量，1*1的区域值即是向量的一个值。

四、结语

卷积神经网络经过这些年的发展，对图像、语言、文本等二維数据的识别可以达到90%，远远高于传统的浅层特征学习的方法。目前，有学者将此方法迁移到了三维模型检索领域，并且取得了不错的结果。未来的卷积神经网络这一深层学习结构一定大有可为。

参 考 文 献

[1]K.福岛（Fukushima）.Neocognitron：一个自组织的神经网络模型为了一个不受位置平移影响的模式识别的机能.生物控制论，36，193-202，1980

[2]LECUN Y，BOTTOU L，BENGIO Y.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE，1998，86（11）：2278-2324

[3]KRIZHEVSKY A，SUTSKEVER I，HINTON G E.Image Net classification with deep convolutional neural networks[C]. Proceedings of Advances in Neural Information Processing Systems，Cambridge，MA：MIT Press，2012：1106-1114.