随着Google、Microsoft和Facebook等巨头的大力投入，深度学习正在超越机器学习，人工智能来势凶猛。那么，如今人工智能最热门的技术趋势是什么？

1.神经网络的架构正变得越来越复杂。感知和翻译等大多数神经网络的架构正变得越来越复杂，远非此前简单的前馈神经网络或卷积神经网络（CNN）所能比。特别需要注意的是，神经网络正与不同的技术（如LSTMs、自定义目标函数等）相混合。

神经网络是多数深度学习项目的根基。深度学习基于人脑结构，一层层互相连接的人工模拟神经元模仿大脑的行为，处理视觉和语言等复杂问题。这些人工神经网络可以收集信息，也可以对其做出反应。它们能对事物的外形和声音做出解释，还可以自行学习与工作。

2.长短期记忆网络（LSTMs）。当你阅读本文时，你是在理解前面词语的基础上来理解每个词语的。你的思想具有连续性，你不会丢弃已知信息而从头开始思考。传统神经网络的一大缺陷便无法做到这一点，而递归神经网络能够解决这一问题。

RNN（循环神经网络）拥有循环结构，可以持续保存信息。过去几年里，RNN在语音识别和翻译等许多问题上取得了难以置信的成功，而成功的关键在于一种特殊的RNN——长短期记忆网络。

3.“注意力模型”。“注意力”是指神经网络在执行任务时知道把焦点放在何处。我们可以让神经网络在每一步都从更大的信息集中挑选信息作为输入。例如，当神经网络为一张图片生成标题时，它可以挑选图像的关键部分作为输入。

4.神经图灵机依然有趣，但还无法胜任实际工作。当你翻译一句话时，并不会逐词进行，而会从句子的整体结构出发。机器难以做到这一点，这一挑战就被称为“强耦合输出整体估计”。

神经图灵机就是研究者们在硅片中重现人类大脑短期记忆的尝试。它的背后是一种特殊类型的神经网络，它们可以适应与外部存储器共同工作，这使得神经网络可以存储记忆，还能在此后检索记忆并执行一些有逻辑性的任务。

5.深度学习让计算机视觉和自然语言处理不再是孤岛。卷积神经网络最早出现在计算机视觉中，但现在许多自然语言处理（NLP）系统也会使用。LSTMs与递归神经网络深度学习最早出现在NLP中，但现在也被纳入计算机视觉神经网络。

此外，计算机视觉与NLP的交汇仍然拥有无限前景。

6.符号微分式越来越重要。随着神经网络架构及其目标函数变得日益复杂，手动推导出“反向传播”的梯度也变得更加困难而且容易出错。谷歌的TensorFlow等最新的工具包已经可以超负荷试验符号微分式，能够自动计算出正确的微分，以确保训练时误差梯度可被反向传播。

7.神经网络模型压缩的惊人成果。多个团队以不同方法大幅压缩了训练一个良好模型所需的素材体量，这些方法包括二值化、固定浮点数、迭代修剪和精细调优步骤等。

这些技术潜在的应用前景广阔，可能将会适应在移动设备上进行复杂模型的训练。例如，不需要延迟就可以得到语音识别结果。此外，如果运算所需要的空间和时间极大降低，我们就可以极高帧率（如30 FPS）查询一个模型，这样，在移动设备上也可以运用复杂神经网络模型，近乎实时地完成计算机视觉任务。

8.深度学习和强化学习继续交汇。在“端对端”机器人等领域出现了令人激动的进展，现在机器人已经可以一起运用深度和强化学习，从而将原始感官数据直接转化为实际动作驱动。我们正在超越“分类”等简单工作，尝试将“计划”与“行动”纳入方程。

9.批标准化。批标准化现在已经被视作评价一个神经网络工具包的部分标准。

10.神经网络研究与优化齐头并进。创造新的神经网络方法需要研究者，还需要能将它们迅速付诸实践的方法。谷歌的TensorFlow是少数能够做到这些的库：使用Python 或 C++等主流编程语言，研究者可以迅速创作新的网络拓扑图，接着在单一或多个设备上进行测试。