一种针对GPU资源的深度学习容器云研究
2017-12-13肖熠鲁永泉谢思烨1
中国传媒大学学报(自然科学版) 2017年6期
肖熠,鲁永泉,谢思烨1,
(1. 中国传媒大学 计算机学院,北京 100024;2. 中国传媒大学 高性能计算中心,北京 100024)
一种针对GPU资源的深度学习容器云研究
肖熠1,2,鲁永泉2,谢思烨1,2
(1. 中国传媒大学 计算机学院,北京 100024;2. 中国传媒大学 高性能计算中心,北京 100024)
伴随深度学习的研究发展,深度学习框架成为研究深度神经网络的重要工具。深度学习框架极大缩短了网络构建与计算时间,其强大的计算能力来源于GPU。但如何有效地在多种框架下合理分配和使用异构集群中GPU资源是一个重要问题。本文提出一种针对GPU资源深度学习容器云架构DLC,利用容器易部署、易迁移的特点,可以将深度学习框架以容器形式快速部署在异构集群上,结合nvidia-docker实现驱动文件与容器解耦合。DLC以MESOS框架的形式提供服务,通过调度获取资源后快速创建对应需求的深度学习框架,并加载指定的GPU资源及对应的运行库,实现特定版本的深度学习环境的快速创建,这对推动深度学习发展具有一定意义。
容器云;深度学习;Docker;GPU
1 引言
现如今,深度学习不断推动人工智能的发展,在图像、自然语言处理、音频处理等领域获得巨大突破[1]。深度学习框架是深度学习开发者的重要工具,它能快速构建各种结构的深度神经网络,通过给定网络的输入和标签数据,框架会自动进行正向传播计算和反向传播计算来完成神经网络的训练过程,获得最终模型。但是不同的深度学习框架基础结构与功能有所不同,这使得开发者需要根据所求解的网络结构类型进行选择,而框架本身又依赖于不同的基础库。……
登录APP查看全文
