蒋正锋，廖群丽

（1.广西民族师范学院数理与电子信息工程学院，崇左 532200；2.广西理工职业技术学院电子工程与智能化学院，崇左 532200）

0 引言

近年来，随着计算机技术的发展，深度学习（deep learning）在计算机视觉、自然语言处理和语音识别等多个领域［1］都已取得显著的效果，表现出极大的应用价值，现已成为人工智能的一个研究热点，并开创了神经网络发展的新纪元。

神经网络起源于1943年的McCulloch-Pitts（MCP）模型，是人工神经模型的最早的原型［2］。1985年感知器算法被提出来，使得MCP模型能对多维数据进行二分类处理，随后反向传播算法的提出为现代神经网络的快速发展打开了大门。20世纪80年代，启发卷积神经网络［3］和递归神经网络［4］相继被提出，而20世纪90年代，LeNet［5］应用于数字识别，取得了不错的效果。2006年，因深度神经网络理论在机器学习中取得初步成功的应用，Hinton等人提出了深度学习［6］的概念，引起了人们的关注。经过多年的发展，从单层网络逐渐发展到多层网络［7-8］，而多层的神经网络可能包含上百层以及上百兆的训练参数。2012年提出的深度学习架构AlexNet摘取了2012年视觉领域竞赛ILSVRC［9］（imageNet large-scale visual recogni⁃tion challenge）的桂冠，Top-5的错误率降低到15.3%［10］，其效果大幅度领先传统的方法。随后的几年，识别错误率不断被新提出更深层的卷积神经网络刷新，在2014年，VGGNet取得了89.3%的平均正确率［11］，2016年He等人提出的ResNet，将分类的错误率降低到3.57%［12］，而2017年由胡杰等人提出的SENet错误识别率只有2.25%。各种不同的深度神经网络模型的提出，促进了深度学习的发展。

深度学习的快速发展，离不开设计更加优秀的深度学习模型，人们也逐渐意识到深度学习模型的结构是深度学习研究的重中之重。……