胡越，罗东阳，花奎，路海明，张学工,3

（1. 清华大学 自动化系，北京 100084; 2. 清华大学 信息技术研究院，北京 100084; 3. 清华大学 生命学院，北京100084）

从现象中发现规律，是人类智能最核心的能力之一，人们也很早就开始研究如何用数学方法来分析数据中的规律。从1930年Fisher线性判别和1950年感知器算法开始，诞生了模式识别学科，研究从数据中学习分类信息的数学方法，形成了最早的机器学习研究。“机器学习”这个术语也是20世纪50年代末提出来的，最初并不专指从数据中学习，更多地包括了机器推理等经典人工智能问题，直到20世纪后期才逐渐被用来专指从数据中学习。现在，这2个术语的含义已经非常接近，模式识别专指对数据的分类，机器学习则指学习数据中的各种规律尤其是分类规律，而“深度学习”是机器学习中最新发展起来的一类方法的总称。

很多模式识别方法和统计学习方法，如线性判别、近邻法、罗杰斯特回归、决策树、支持向量机等，已经在很广泛的问题上取得了成功，如广告点击率预测[1-3]、希格斯子信号识别[4]、基于基因表达的疾病分型[5-6]等。这些统计学习方法往往直接根据特征对样本进行分类，不进行特征变换或只进行一次特征变换或选择。与深度学习方法相比，这些方法中特征变换较少，或者依赖于上游处理来对特征进行变换，所以被有些人称作“浅层模型”或“浅层学习方法”。

这些浅层模型在很多应用上取得了成功，但是也存在很大局限，即模型的效果非常依赖于上游提供的特征。……