APP下载

Spark计算节点同构环境下Executor的内存分配优化模型

2017-11-07

福建质量管理 2017年20期
关键词:分配优化

(重庆市北碚区中医院 重庆 400700)

Spark计算节点同构环境下Executor的内存分配优化模型

朱蓉

(重庆市北碚区中医院重庆400700)

在对Spark云计算平台的作业执行机制进行研究分析的基础上,针对目前Spark处理作业时Executor的人为请求资源机制,提出了一种Spark计算节点同构环境下Executor所需内存资源的优化分配算法,该算法能够基于处理数据的数据量对分布式内存资源进行弹性分配,达到了Spark在数据量变化情况下合理利用分布式内存资源这一目的,并对此进行了仿真实验验证。

Spark;Executor;内存资源;资源分配

一、前言

近几年来,云计算技术成为人们讨论的热点,随着云计算研究的不断深入和发展,Spark大数据处理平台受到了越来越多的关注。通过依靠Scala强有力的函数式编程、Actor通信模式、闭包、容器、泛型等手段,借助统一资源分配调度框架Mesos和YARN[2],并融合了MapReduce和Dryad[3]等技术,使得Spark站在巨人的肩膀上,成为一个简洁、直观、灵活、高效的分布式大数据处理框架。

本文对Spark中任务调度和资源分配机制进行了研究,提出了一种基于计算节点同构,即计算节点硬件环境一致下的资源分配优化算法SMAO(Spark’s memory allocation optimizing),能够基于作业的数据量对分布式内存资源进行弹性分配,达到内存资源合理分配的目的,并对此进行了仿真实验验证。

二、Spark内存计算框架

Spark在实时计算方面速度卓越的一个核心原因就是因为有统一的RDD(Resilient Distributed Datasets,弹性分布式数据集),Spark中使用了RDD抽象的分布式计算,即使用RDD对应的transform/action等操作来执行分布式计算;并且基于RDD之间的依赖关系组成lineage以及checkpoint等机制来保证整个分布式计算的容错性[4]。……

登录APP查看全文

猜你喜欢

分配优化
基于可行方向法的水下机器人推力分配
超限高层建筑结构设计与优化思考
民用建筑防烟排烟设计优化探讨
关于优化消防安全告知承诺的一些思考
一道优化题的几何解法
由“形”启“数”优化运算——以2021年解析几何高考题为例
应答器THR和TFFR分配及SIL等级探讨
遗产的分配
一种分配十分不均的财富
绩效考核分配的实践与思考