一种基于DAG的网络流量调度器
2021-12-14费佳伟张春元
计算机研究与发展 2021年12期
时 洋 文 梅 费佳伟 张春元
(国防科技大学计算机学院 长沙 410073) (国防科技大学并行与分布式处理国防科技重点实验室 长沙 410073)
为了满足应用对于不同资源以及性能的需求,现在大家越来越趋向于将它们部署在数据中心上[1].但是,数据中心中的资源竞争也随着任务数目的增加变得更加激烈,并且会导致任务完成时间(job completion time,JCT)的增加以及整个数据中心效率的降低.在应用竞争的资源中,网络资源往往是最为关键的一种.有调研报告称,在数据中心中,网络传输时间占到了任务完成时间的50%[2].这种情况就对数据中心的网络资源调度提出了要求,需要尽量通过调度来提升网络的效率,从而加速分布式任务.
基于此,过去数十年来研究者们提出了很多网络调度的技术.传统的网络调度算法大多聚焦在减少流完成时间[3-4]或者提升流之间的公平性[5-6]等方面;由于它们往往不考虑任务的具体网络需求,所以无法捕捉到每个应用网络需求的详细特征.因此,它们在减少JCT以及提升网络效率上的表现无法令人满意.
意识到这个缺陷之后,研究者们开始针对具体的应用来设计网络调度的算法.其中,coflow[7]的提出是向着任务感知的网络调度迈出的关键一步.研究者发现,许多分布式任务是由一定数目的处理阶段按照某种顺序组织而成的,而这一类任务重要的一个性质就是2个连续阶段中的后一个,无法在前一个向它传输的所有网络流完成之前开……
登录APP查看全文
