韩小虎　徐鹏　韩森森

摘 要： 深度学习是机器学习研究中的一个新领域，其动机在于建立、模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据。目前深度学习在智能识别方向具有很强的优越性。文章主要介绍了深度学习的基本理论、常用模型和开发平台。

关键词： 深度学习； 机器学习； 特征表示； 工具

中图分类号：TP399 文献标志码：A 文章编号：1006-8228（2016）06-107-04

Abstract： Deep learning is a new field in the research of machine learning， whose motivation is to build and simulate the neural network， with which the human brain analyzes and studies， and simulate the mechanism of human brain to interpret the data. At present， deep learning has a strong advantage in the direction of intelligent identification. This paper mainly introduces the basic theory， common models and development platforms of deep learning.

Key words： machine learning； deep learning； feature expression； tool

0 引言

神经网络的历史最早可以追溯到上世纪的40年代，在20世纪80年末期，Rumelhart、Hinton和Williams在《自然》（Nature）上发表了用于人工神经网络的BP（Back-Propagation，反向传播）算法[1]，掀起了一阵机器学习的浪潮，但是由于各种原因，神经网络被许多学者放弃。

20世纪90年代，更多的学者开始采用浅层机器学习模型，例如SVM（Support Vector Machines，支持向量机），最近邻等分类器，Boosting等。这些模型都取得了巨大成功，但是同时由于理论分析难度大，训练方法复杂，这个时期神经网络陷入了沉寂。

自2006年以来，深度学习领域取得了突破性进展，人工智能的实现，不再是那么遥不可及的事情了。至于技术手段，在依赖云计算对大数据的并行处理能力的基础上，更加依赖一个算法，这个算法就是深度学习，通过这个方法，人们终于知道如何处理抽象概念这个难题。

深度学习的概念最早由机器学习领域的泰斗、多伦多大学G.E.Hinton教授提出[2]，之后在各大领域有了飞速的发展。2012年，由Hinton教授带领的深度学习团队在ImageNet图像分类大赛中取得了优胜，其准确率超过了第二名10%以上，引起了计算机视觉领域的极大震动，再一次掀起了深度学习的浪潮。……