杨　生　北京邮电大学数据科学中心硕士研究生刘　军　北京邮电大学数据科学中心副教授刘　芳　北京邮电大学数据科学中心副教授



基于Petri网的Hadoop性能仿真系统的设计与实现

杨生北京邮电大学数据科学中心硕士研究生
刘军北京邮电大学数据科学中心副教授
刘芳北京邮电大学数据科学中心副教授

摘要：随着Hadoop在学术界和工业界的广泛应用，极大推动了大数据技术的发展，如何更为高效地使用Hadoop成为了业界关注的焦点。本文介绍了对Hadoop性能进行仿真的方法，及其实现机制。

关键词：Hadoop；性能仿真；Petri网；性能优化；集群搭建

1　引言

伴随着Hadoop的出现，其展现出的高效、易用、稳定、扩展性好等诸多优点，成为了学术界和工业界进行海量数据处理的首选方案，更是名符其实开启大数据时代大门的金钥匙。

数据驱动业务作为大数据时代的核心命题，如何完成海量数据的及时处理以满足业务需求，一直是当今业界最主流的研究方向。面对大型互联网公司动辄过千台的Hadoop集群规模，有效地提升计算效能尤为重要。其他各领域的公司也紧随时代脚步发展了自身的数据分析部门，满足业务需要并控制成本，则是这些公司更为注重的。因此，对Hadoop的数据处理能力进行预估，并提供集群优化指导建议是非常有必要的。

但是通过传统的测试对比分析的方法来评估Hadoop处理能力具有较大的局限性。首先，由于Hadoop作业往往完成耗时较长，测试实际运行情况效率低下；……