Spark计算节点同构环境下Executor的内存分配优化模型
2017-11-07
(重庆市北碚区中医院 重庆 400700)
Spark计算节点同构环境下Executor的内存分配优化模型
朱蓉
(重庆市北碚区中医院重庆400700)
在对Spark云计算平台的作业执行机制进行研究分析的基础上,针对目前Spark处理作业时Executor的人为请求资源机制,提出了一种Spark计算节点同构环境下Executor所需内存资源的优化分配算法,该算法能够基于处理数据的数据量对分布式内存资源进行弹性分配,达到了Spark在数据量变化情况下合理利用分布式内存资源这一目的,并对此进行了仿真实验验证。
Spark;Executor;内存资源;资源分配
一、前言
近几年来,云计算技术成为人们讨论的热点,随着云计算研究的不断深入和发展,Spark大数据处理平台受到了越来越多的关注。通过依靠Scala强有力的函数式编程、Actor通信模式、闭包、容器、泛型等手段,借助统一资源分配调度框架Mesos和YARN[2],并融合了MapReduce和Dryad[3]等技术,使得Spark站在巨人的肩膀上,成为一个简洁、直观、灵活、高效的分布式大数据处理框架。
本文对Spark中任务调度和资源分配机制进行了研究,提出了一种基于计算节点同构,即计算节点硬件环境一致下的资源分配优化算法SMAO(Spark’s memory allocation optimizing),能够基于作业的数据量对分布式内存资源进行弹性分配,达到内存资源合理分配的目的,并对此进行了仿真实验验证。
二、Spark内存计算框架
Spark在实时计算方面速度卓越的一个核心原因就是因为有统一的RDD(Resilient Distributed Datasets,弹性分布式数据集),Spark中使用了RDD抽象的分布式计算,即使用RDD对应的transform/action等操作来执行分布式计算;并且基于RDD之间的依赖关系组成lineage以及checkpoint等机制来保证整个分布式计算的容错性[4]。……
