佚名

热潮人工智能很热，最重要的技术之一就是深度学习技术。今天谈到深度学习的时候，其实已经可以看到各种各样的应用，包括图像、视频、声音、自然语言处理等。大多数人认为，深度学习就等于深度神经网络。

什么是深度学习

给大家看一个例子。有一个非常著名的学会是国际工业与应用数学学会，他们有一个报纸叫 SIAM News。去年 6 月份的头版上有一篇文章，它里面的重点说的就是深度学习是什么？它（深度学习）是机器学习的一个子域（subfield），这里面要用深度神经网络。

要谈深度学习，首先要从神经网络开始。神经网络并不是一个新生事物，人们已经研究了超过半个世纪。但以往我们会用这样的神经网络，就是中间有一个隐层或者有两个隐层。在这样的神经网络里面，它的每一个单元是什么样的呢？是个非常简单的计算模型。

比如说一个计算模型，实际上半个多世纪以前我们就已经总结出来了。我们收到一些输入，这些输入通过一些连接放大，到了细胞之后，它的“加和”如果超过一个阈值，这个细胞就激活了。

今天说深度神经网络的时候指的是什么？其实简单来说就是用的神经网络有很多层，很深很深。大概多少？看一个数据，2012 年深度学习刚刚受到大家的重视的时候，一个 ImageNet 竞赛的冠军用了 8 层，2015 年 152 层，2016 年 1207 多层，这是一个非常庞大的系统。

要把这个系统训练出来难度非常大，但有一个非常好的消息，真正的神经网络里的计算单元，它最重要的激活函数是连续的，是可微的。……