刘汪根，孙元浩

星环信息科技（上海）有限公司，上海 200233

引言

2006年Hadoop[1]项目诞生标志着大数据技术时代的开始，而AWS商用则表明云计算正式开始了改变信息时代的步伐。自此之后，大数据和云计算成为最近十几年最为火热的技术，学术界和工业界都大量投入到相关技术的研发，极大的加速了大数据技术的商业化落地，如UC Berkeley推出了计算引擎Spark[2]。在云计算领域，企业级应用推动了技术的发展，如2014年开始兴起的容器技术和编排系统，最终推进了新一代的原生云平台的快速发展，Docker[3]和Kubernetes[4]技术则成为新一代原生云的事实标准。大数据和云计算技术的融合，加速了数据业务模式的创新，也催生了对大数据技术的底层架构的优化和升级。

1 大数据技术发展回顾与技术挑战

1.1 历史回顾

Doug Cutting参考谷歌在2003年发表的Google File System论文建立了Hadoop开源项目，并于2006年贡献给了Apache基金会，用来构建大规模搜索引擎和解决大规模的数据存储和离线计算的难题。首先诞生的是分布式文件系统HDFS和分布式计算框架MapReduce。随后在2007年，Facebook开发了Hive[5]，可以使用类SQL语言查询存放在HDFS上的数据，PowerSet公司开发了分布式NoSQL数据库HBase。从2006到2009年这个阶段，以MapReduce计算框架为代表，大数据技术在大型互联网企业被广泛应用于大规模结构化数据的批处理，具体的应用场景是做日志分析和用户行为分析等。这个阶段我们称之为大数据的1.0时代。

大数据进入2.0时代的标志，是Spark核心计算引擎的出现。由于MapReduce在要求短时间响应的交互式分析场景下表现不好，以Spark和Flink[6]为代表的新计算引擎出现并广泛使用。……