姜春宇，魏凯

1. 中国信息通信研究院移动互联网与大数据部，北京 100191 2. 数据中心联盟大数据发展促进委员会，北京 100045

大数据平台的基础能力和性能测试

姜春宇1,2，魏凯1,2

1. 中国信息通信研究院移动互联网与大数据部，北京 100191 2. 数据中心联盟大数据发展促进委员会，北京 100045

目前整个大数据技术还处于以开源方式为主导、多种技术并存的阶段。开源技术催生了大量的商业发行版大数据平台软件，大数据企业级市场竞争加剧，如何测试和评估这些大数据平台软件成为新的研究主题。简要地介绍了大数据技术发展的背景以及大数据技术标准的需求，综述了国际大数据平台标准化和评测的现状，详细介绍了数据中心联盟在大数据平台技术标准化和测评方面的实践，最后总结了当前工作的问题，并展望了下一步大数据技术和评测的发展方向。

big data, big data technology standardization, big data products evaluation, data, workload

1 引言

大数据的应用和技术起源于互联网，首先是网站和网页的爆发式增长，搜索引擎公司最早感受到了海量数据带来的技术上的挑战，随后兴起的社交网络、视频网站、移动互联网的浪潮加剧了这一挑战。互联网企业发现新数据的增长量、多样性和对处理时效的要求是传统数据库、商业智能纵向扩展架构无法应对的。在此背景下，谷歌公司率先于2004年提出一套分布式数据处理的技术体系，即分布式文件系统——谷歌文件系统（Google file system，GFS）、分布式计算系统（MapReduce）和分布式数据库（BigTable），以较低成本很好地解决了大数据面临的困境，奠定了大数据技术的基础。……