郭俊石 罗轶凤

(复旦大学计算机科学技术学院上海市智能信息处理重点实验室 上海 200433)

EarnCache:一种增量式大数据缓存策略

郭俊石 罗轶凤

(复旦大学计算机科学技术学院上海市智能信息处理重点实验室 上海 200433)

在共享的大数据集群中，租户竞争可能导致内存资源分配不公平以及利用效率低下。为了提高缓存利用效率和公平性，针对大数据应用的特性，提出一种增量式缓存策略称为EarnCache，即文件被访问得越多，获得的缓存资源就越多。利用文件被访问频率的历史信息，将缓存分配与替换问题抽象成优化问题，给出解决方案。并在分布式存储系统中实现了EarnCache及MAX-MIN等不同算法，进行性能分析。实验表明，EarnCache可以提高大数据缓存效率和总体资源利用率。

大数据 缓存分配 增量式

0 引 言

随着大数据应用对实时运算需求的提升和内存价格的下降，使用内存来缓存数据、加速运算逐渐成为一种趋势。大数据集群通常由多个计算框架、应用或者终端用户共享，而大数据海量的特征决定了无法将数据全部放入内存，因而内存资源竞争不可避免。大数据应用通常为分析型事务，数据显示出相似的访问热度；另一方面，大数据的数据块较大(如HDFS[6]默认64 MB)，缓存替换代价比传统KB级别的页式存储高得多。针对大数据应用的特性，以提高集群使用公平性和缓存效率为目标设计特定内存资源管理策略，成为一个重要问题。

文献[2]针对大型Web行用，提出将所有数据放在内存中提供服务。……