计算密集型大流量数据的接力计算与动态分流处理
2021-09-18包秋兰廖雪花朱洲森
计算机应用 2021年9期
关键词:服务
廖 佳,陈 扬,包秋兰,廖雪花,朱洲森*
(1.四川师范大学物理与电子工程学院,成都 610101;2.四川师范大学计算机科学学院,成都 610101)
(*通信作者电子邮箱992827658@qq.com)
0 引言
随着社会的数字化转型、互联网的蓬勃发展以及国民经济的快速崛起,世界各个领域的数据呈爆炸式增长,大流量数据的处理问题引起了世界各国专家的广泛关注[1-2]。数据作为信息的载体,已经成为包括互联网经济、交通物流和社会生活等各个领域中最核心的资源[3]。在这些领域中,高效的计算能力是必不可少的条件之一。
我国在大数据计算应用领域发展迅速,主要集中在I/O密集型[4]和计算密集型[5]。目前I/O 密集型数据处理在我国应用领域先进而成熟,典型应用场景如春运期间抢购火车票、购物网站的“双十一”抢购商品、电商平台的秒杀抢购等。对于这些I/O 密集型应用,通过技术的不断革新和架构的不断优化,得到了进一步的提升和完善。但是计算密集型数据处理仍然处在发展阶段,对于大型应用的开发存在困难,主要集中在大型科学计算、省市级的社保医保数据的计算与服务、税务数据的计算与优化等方面。
对于计算密集型的应用,国内外学者在任务调度、资源分配等方面有一些相关研究。张楠等[6]提出了一种面向计算密集型任务的分布式任务调度平台,有效地提高了系统的资源利用率和稳定性。杨志豪等[7]研究了一种面向数据和计算双重密集型任务的私有云计算系统实现方案,通过对文件和并行处理模块的简化和优化,使得系统结构变得简单且方便使用。……
登录APP查看全文
