蔡际杰，陈德旺，张 璜

（1.福州大学数学与计算机科学学院；2.福州大学智慧地铁福建省高校重点实验室，福建福州 350108；3.福州理工学院计算与信息科学学院，福建福州 350506）

0 引言

大数据时代数据量越来越大，利用大数据解决实际问题的机会越来越多，深度学习作为处理数据的人工智能技术显得越来越重要。深度神经网络（Deep Neural Network，DNN）作为深度学习的重要分支受到青睐。DNN 在并行性计算能力、自学习能力和非线性映射能力上表现突出［1］，广泛应用于计算机视觉、自然语言处理以及语音识别等领域。

自1943 年美国心理学家McCulloch 和数学家Pitts 提出神经元突触模型中最基本的模型——MP 模型以来［2］，神经网络的发展历程跌宕起伏，发展至今经历了三起三落：1986 年，Rumelhart 等［3］共同提出了反向传播算法，利用梯度下降法不断更新神经节点参数，大大降低了神经网络误差；Hinton 等［4］于2006 年提出了深层次结构的神经网络，并首次提出深度学习概念，描述了深度学习的整个体系结构。其后人们开始考虑搭建多层神经网络来解决复杂的大数据问题，自此出现了各种类型的DNN，如深度卷积神经网络（Deep Convolution Neural Network，DCNN）、深度生成式对抗神经网络（Deep Generated Adversarial Neural Net⁃work，DGANN）等。神经网络的迅速发展得益于计算机性能的提高和Hinton、LeCun、Bengio 等研究者的成果贡献，Lecun 等［5］三人于2015 年共同在《Nature》上发表《Deep Learing》引起世界关注。如今深度学习研究成果已成功应用在图像识别、图像分类、语音识别等领域［6］。

DCNN 具有强大的自学习能力和非线性映射能力，但是其存在一些致命缺点：①过于依赖数据集。……