APP下载

基于 Hadoop YARN 的 TensorFlow GPU 集群的调度扩展

2017-05-04陆忠华孙琨王彦棡王珏刘芳

数据与计算发展前沿 2017年6期
关键词:程序深度资源

陆忠华,孙琨,2,王彦棡,王珏,刘芳*

1. 中国科学院计算机网络信息中心,北京 100190

2. 中国科学院大学,北京 100049

引言

近年来,深度学习已经广泛地应用于语音识别,机器翻译,计算机视觉等领域,都取得了很好的效果。随着深度学习理论的兴起,多种深度学习的编程框架不断涌现。TensorFlow、Caffe、PyTorch 等深度学习框架在架构、性能、模型构建等许多方面都差异甚大。每种框架都有其特别适用的领域,而统一管理调度这些框架的平台却非常缺乏,极少数支持的平台,例如腾讯的 DI-X 平台,非开源,对自身的业务支持性很好,但是可扩展性不足。

另一方面,深度学习理论的发展离不开 GPU 硬件的进步。GPU (Graphics Processing Unit,图形处理器)是一种专门的图像运算处理器,主要工作于个人计算机、高性能服务器或移动设备之上,为它们加速各种 3D 图像和特效的处理[1]。对于很多科学计算而言,性能主要取决于 GPU 的浮点计算能力[2],特别是对深度学习任务来说。但是,由于涉及 GPU 的计算很多本身就需要巨大的计算量,单机通常无法在短时间内完成,因此 GPU 的集群化管理和使用成为一种必然的趋势。

深度学习的模型训练需要海量数据,海量数据的预处理需要用大数据技术进行处理。大数据处理框架中最为流行的当属 Hadoop 和 Spark[3]。Hadoop和 Spark 均支持 Hadoop YARN (Yet Another Resource Negotiator) 作为资源管理器[4]。Hadoop YARN 的出现使得资源的管理和调度更加简单,大大简化了集群结构,并且使其具备了多种任务类型的可扩展性。

在各种强烈的实际需求推动下,无论是支持GPU 计算的深度学习框架 TensorFlow,还是分布式计算平台 Hadoop,都获得了很好的发展。……

登录APP查看全文

猜你喜欢

程序深度资源
基础教育资源展示
试论我国未决羁押程序的立法完善
深度观察
深度观察
资源回收
深度观察
“程序猿”的生活什么样
资源再生 欢迎订阅
英国与欧盟正式启动“离婚”程序程序
创卫暗访程序有待改进