高国樑,陈雷放,刘一鸣

1(中国石油大学(华东) 计算机科学与技术学院,青岛 266580)

2(青岛农业大学 理学与信息科学学院,青岛 266109)

3(华北电力大学(保定) 电气与电子工程学院,保定 071003)

近年来,深度学习技术广泛应用在图像处理、语音识别等领域,极大地促进了人工智能的进步,对人类生活的改善有着重要意义.然而,深度学习实践并非一件易事,往往需要花费大量的时间和精力,因此,使深度学习变得尽可能“简单”显得尤为重要.深度学习托管平台可为深度学习实验任务提供全流程的管理服务,给深度学习实践带来了积极影响.结合深度学习平台项目的实际需求,本文设计和实现了分布式任务执行系统DTES (Distributed Task Execution System).DTES参照任务执行集群的实时监控数据选出当前压力最小的节点并向其发送执行请求,节点根据请求信息去获取任务所需数据,随后创建Docker 容器来执行该任务,同时回收任务执行期间的日志信息.此外,DTES 基于Spring Boot 框架实现,具有良好的稳定性和可扩展性.

1 研究背景

深度学习全流程托管平台是一个管理深度学习实验任务的网页应用系统.该平台提供了数据集管理、数据集标注、模型训练以及模型部署等服务,它将深度学习实验的所有流程全部集中到网页端进行,有效提升了研究效率.研究者首先将数据集上传到平台,接着对数据集进行标注,之后在平台中编写程序训练模型,最后将符合要求的模型导出部署.

本文结合深度学习平台的具体……