张海峰，魏可欣

(1.中通服咨询设计研究院有限公司，江苏南京 210019 2.南京大学 商学院，江苏南京 210093 3.苏州大学政治与公共管理学院，江苏苏州 215123)

随着互联网的发展，数以万计的网页不断涌现，而要搜索这些网页首先要抓取存储，然后进行分析计算。但是日益庞大的数据使得存储面临着单台机器容量不够和查询面临着耗时太多的问题［1－3］。针对这两个问题，Google提出了分布式存储和分布式并行计算的解决方案，而后来的Hadoop产品是这种解决方案的源码实现。Hadoop提供了分布式文件系统HDFS和分布式并行计算框架MapReduce，随着Hadoop的发展，其生态系统又不断涌现新的项目产品，如Hbase、Hive、Pig等，但它们都是基于 HDFS存储层和MapReduce计算框架，MapReduce通过在集群的多个节点上并行执行计算，因此大大加快了查询的速度，但随着数据量的日益增大，MapReduce渐渐显得力不从心，于是基于内存计算的Spark计算框架应运而生，Spark的查询速度相比Hadoop提升了100倍，因此是目前最先进的分布式并行计算框架［4－5］。 随着 Spark生态系统的发展，在其上又涌现出 Spark SQL、Spark Streaming、MLlib、GraphX 等，其中Spark SQL是针对SQL用户开发的可以用SQL语言对结构化数据进行分析查询的工具［6－8］。

目前主流的大数据分析系统主要是Hadoop和Spark，更准确地说，Spark只是一个并行计算框架，而hadoop中包含计算框架MapReduce和分布式文件系统HDFS。Hadoop更广泛地说还包括在其生态系统上的其他系统，如Hbase、Hive等；而Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含 Spark SQL、Spark Streaming、GraphX、MLlib等子项目，Spark是MapReduce的替代方案，性能提升近百倍，Spark SQL是Spark之上提供结构化数据SQL查询与分析的查询引擎，是MapReduce之上的Hive 的替代方案［9－14］。……