分布式网页内容安全监测系统任务调度方法
2021-07-24李柏岩刘晓强冯珍妮
新一代信息技术 2021年4期
陈 超,李柏岩,刘晓强,冯珍妮
(东华大学 计算机科学与技术学院,上海 201620)
0 引言
近年来,随着云计算技术的日益成熟,越来越越多的应用系统被以各种方式部署到云平台。云服务器一般按实际使用资源来计费,可动态扩展和缩减,为充分利用购买的计算资源,节省计算成本,需要对应用系统的任务进行合理调度,使服务器负载均衡,并对应用系统随着应用规模扩展对使用云资源的需求进行预测。
开放网络环境下的分布式系统往往采用松耦合的面向服务的(Service-Oriented Architecture,SOA)架构,将复杂应用按照功能特点划分为不同的服务,这些服务是一些粗粒度并且可以被调用的软件实体,具有高可用性、扩展性和重用性特征。这样的结构允许系统的组件按需部署。在大型系统中,随着系统业务和用户的不断增加,系统的任务数量也会增多,分布式的任务处理架构在使系统提高并发性、可扩展性、容错性的同时,也会产生因负载不均而导致的资源浪费问题。为保证系统的工作效率,最大限度地利用计算机资源,应用系统自身也需根据实际情况进行合理的任务调度。
任务调度是分布式系统的一个基本问题,而且一般形式下的任务调度是一个 NP完全问题(Non-deterministic Polynomial,NP),学者对此进行过大量的研究工作。参考文献[1]使用改进蚁群算法对Storm任务调度进行优化,并通过实验证明改进后的调度方法在算法效率上相比 Storm默认的轮询调度算法得到了大幅的提高;参考文献[2]采用随机森林分类器将任务按照执行时长进行分类,再使用粒子群优化算法对问题进行优化,不仅均衡了计算节点的CPU和内存的利用率,还对任务完成时间进行了优化,减少了任务完成的总体时间;……
登录APP查看全文
