王薇

摘要：为了更好的验证通过参数的优化可以提高Hadoop性能，我们可以采用的测试方法有：基准测试、稳定性测试、高可用测试、扩展性测试、安全性测试等。本文以基准测试方法为主来验证参数优化后，实现对Hadoop性能的调优。本文主要针对hadoop内部的17个参数进行优化，通过基准测试中terasort和WordCount的复合算法的执行时间来校验参数的优化情况，实验过程中搜集系统的cpu和内存使用率，磁盘io和网络io的吞吐量等指标。图1-3充分说明了参数默认值与参数调整后的对比情况。实验结果表明，hadoop参数调整优化后，在一定情况下实现了hadoop的性能调优。

关键字：Hadoop;参数优化;性能调优

引言

大数据软件平台主要由分布式文件系统、分布式计算系统、NoSQL 数据库、分布式数据仓库、分布式数据库等构成，能够提供大数据的存储、管理和计算能力。大数据软件平台主要包括开源的Hadoop、Spark等，一般部署在通用硬件平台上[1-2]。

由于Hadoop自身包含的参数比较多，参数之间的关系也比较复杂。经过简单的实验验证，本文主要对表1中的17个参数进行优化，并且参数优化是遵循顺序、叠加的方式，从而到达Hadoop的性能调优。

实验设计和算法研究

为了更好的验证通过参数的优化可以提高Hadoop性能，我们可以采用的测试方法有：基准测试、稳定性测试、高可用测试、扩展性测试、安全性测试等。本文以基准测试方法为主来验证参数优化后，实现对Hadoop性能的调优。

基准测试是一种测量和评估软件性能指标的活动。可以在某个时间通过基准测试建立一个已知的性能水平（称为基准线）[3]，当系统的软硬件环境发生变化之后再进行一次基准测试以确定那些变化对性能的影响。……