陆忠华，胡腾腾,2，王彦棡，刘芳，王珏*

1.中国科学院计算机网络信息中心，北京 100190

2.中国科学院大学，北京 100190

引言

物联网和移动互联网时代的到来，数据产生以各类形式来源于生产生活的方方面面，例如：感知器，日志文件，emails，社交媒体，各类图片和视频等等。据估计当今 80% 的数据是无结构化的，无结构化的数据正以 15 倍于结构化的数据增长，预计到 2020年全球数据总量将达到 40 zettabytes (1021 bytes)，人类已经真正步入了一个以数据为中心的时代[1]。2003、2004年，Google 相继发表了两篇文章论述了他们为应对海量数据而开发的两项新技术 GFS和 MapReduce，使得许多正为数据急剧膨胀而头疼不已的企业看到了希望。受到该两篇论文的启发，开源社区做出了一系列的具有工业化生产价值的生态系统：Hadoop，MapReduce，Hive，Pig，HBase 等。大规模数据的处理，业界已经达到很好的效果，但是随着 2012年，Hinton 采用深度学习的方法一举夺得ImageNet 比赛的冠军，人类对大规模数据进行复杂的计算需求日益增长。

HPC (高性能计算集群)天然就拥有一整套完整的、成熟的、高度优化的针对高性能计算的家族体系技术。例如：专有的高性能优化传递网络(InfiniBand，IBM Blue Gene interconnects)，高性能消息传递库 (MPI)，丰富的面向各类体系结构加速的数学计算库 (BLAS，LAPACK)，高效的并行文件存储系统 (Lustre，Parastor)以及将各类软件组合在一起的调度器 (Slurm，LSF)。

已发展成熟的高性能计算完美适配于以深度学习为代表的强调大数据计算的算法，本文以高性能计算集群的相关设施为基础，针对人工智能与机器学习方面的需求，进行相关技术的选型，并通过代码编写，使 Slurm 适配于分布式 Tensorflow，从而对大规模的数据进行深度学习方面的学习与训练。……