陈康　王彬　冯琳

摘要：研究了Spark并行计算集群对于内存的使用行为，认为其主要工作是通过对内存行为进行建模与分析，并对内存的使用进行决策自动化，使调度器自动识别出有价值的弹性分布式数据集（RDD）并放入缓存。另外，也对缓存替换策略进行优化，代替了原有的近期最少使用（LRU）算法。通过改进缓存方法，提高了任务在资源有限情况下的运行效率，以及在不同集群环境下任务效率的稳定性。

关键词：并行计算；缓存；Spark；RDD

Abstract：In this paper， Spark parallel computing cluster for memory is studied. Its main work is about modeling and analysis of memory behavior in the computing engine and making the cache strategy automatic. Thus， the scheduler can recognize a valuable data object to be cached in the memory. A new cache replacement algorithm is proposed to replace least recently used （LRU） and have better performance in some applications. Thus， the performance and reliability of the Spark computing engine can be improved.

Key words：parallel computing； cache； Spark； resilient distributed dataset（RDD）

大数据处理的框架在现阶段比较有影响力的是基于Google所发明的MapReduce[1]方法及其Hadoop[2]的实现。当然，在性能上传统的消息传递接口（MPI）[3]会更好，但是在处理数据的方便使用性、扩展性和可靠性方面MapReduce更加适合。使用MapRecuce可以专注于业务逻辑，不必关心一些传统模型中需要处理的复杂问题，例如并行化、容错、负载均衡等。

由于Hadoop通过Hadoop分布式文件系统（HDFS）[4]读写数据，在进行多轮迭代计算时速度很慢。随着需要处理的数据越来越大，提高MapReduce性能变成了一个迫切的需求，Spark[5]便是在此种背景下应运而生。

Spark主要针对多轮迭代中的重用工作数据集（比如机器学习算法）的工作负载进行优化，主要特点为引入了内存集群计算的概念，将数据集缓存在内存中，以缩短访问延迟。

Spark编程数据模型为弹性分布式数据集（RDD）[6]的抽象，即分布在一组节点中的只读对象集合。数据集合通过记录来源信息来帮助重构以达到可靠的目的。RDD被表示为一个Scala[7]对象，并且可以从文件中创建它。……