王秉睿，兰慧盈，陈云霁

1. 中国科学技术大学，安徽 合肥 230026；2. 中国科学院计算技术研究所，北京 100190；3. 中国科学院大学，北京 100049

1 引言

机器学习是一类研究通过计算机模拟人类学习行为，从而解决实际问题的学科。机器学习算法涉及多学科，如概率论、统计学、逼近论、凸分析等。传统的机器学习算法包括k近邻（k-nearest neighbor，k-NN）分类、k均值（k-means）聚类算法、支持向量机（support vector machine，SVM）、决策树（decision tree）等。最近，机器学习中的一个子类——深度学习，在图像处理、语音处理等多个领域上都取得了长足的进步。深度学习的快速发展得益于两点，首先是硬件计算设备性能的提升，比如图形处理器（graphics processing unit，GPU）的广泛应用，其次是大规模数据集的构建，大量的训练数据减轻了过拟合的问题，使得训练复杂的模型成为可能。深度学习算法的结构通常非常复杂，包含上百兆的可训练参数。比如2016年由He K等人[1]提出的ResNet网络，最大的一种模型包含了上千层。

由于算法的复杂性，构建算法的计算过程需要耗费大量的时间。值得庆幸的是，深度学习算法的复杂网络结构是由有限的基本算子通过各种复杂连接关系搭建起来的，常用的算子包括卷积、池化、全连接等。因此，可以提取出机器学习算法中共性的部分，将其抽象出来，便于反复调用。用于机器学习算法的编程库层出不穷，各有特色。比如，Google公司提出的Tensorflow[2]，是一款基于数据流图的深度学习库，支持多种计算设备（CPU、GPU、张量处理单元（tensor processing unit，TPU）[3]），同时还可以直接运行在包含多种计算设备的分布式结构上。……