黄 山,房六一,徐浩桐,段晓东

(1.大连民族大学计算机科学与工程学院,辽宁 大连 116600;2.大数据应用技术国家民委重点实验室,辽宁 大连 116600;3.大连市民族文化数字技术重点实验室,辽宁 大连 116600)

1 引言

随着互联网技术的飞速发展，万物互联成为未来发展的必然趋势，人类正从计算机时代走向数据技术时代。据国际数据公司IDC(International Data Corporation)预测，2025年全球产生的数据量将达到163 ZB[1]。与此同时,具有高可伸缩性、部署方便、初期成本低、按使用付费、运行维护成本低特点的云计算技术也得到了迅猛发展。大数据管理系统正在向支持可伸缩性和支持批计算、流计算、机器学习等多计算模式相融合方向发展[2]。

Flink[3]作为最新一代的大数据计算引擎，具有低延迟、高吞吐等优势，使其备受学术界和工业界青睐。与此同时，随着虚拟化技术的发展，各种应用都在使用容器化部署。然而，Flink在容器中部署时，由于其不能感知到结点负载情况，会导致任务分配不均匀，造成性能下降。

本文提出一种面向容器环境的Flink任务调度算法FSACE(Flink Shedule Algorithm for Container Environment)，该算法在容器环境下部署Flink任务时，结合集群容器负载信息调度任务，从而使任务分配更加均衡，提升了Flink在容器环境下的处理效率。

本文的主要贡献有：

(1)提出一种结合容器部署负载信息的Flink任务调度算法。该算法获取每个结点性能信息与容器在结点上的分布信息，优先选择空闲资源较多的结点的容器，同时可以避免容器被频繁选中造成负载不均。

(2)利用不同规模的数据集进行对比实验，实验表明，本文提出的FSACE算法相比默认的Flink任务调度算法在计算时间、吞吐量、时延和资源利用方面都有优化。……