HAWQ:大数据技术发展新趋势
2017-09-25常雷
常雷
偶数科技在2016年底成立,主要是由EMC/Pivotal核心团队成员组成,现在做两个事情,偶数两大产品:Apache HAWQ和Oushu HAWQ++。今天我主要介绍大数据领域的发展趋势中关于计算引擎的部分。
在数据平台的演进路线中,第一代数据仓库相对传统,以小型机或一体机的专有的硬件平台为主,面向传统的BI分析,系统缺乏弹性,资源固定,不易调整,很难支持突发的应用需求或密集复杂的计算需求。第二代数据平台是大家熟悉的MPP,可以支持密集、复杂的计算需求,但需要一定时间。到了第三代,其实是最近五六年发展起来的新型数据仓库,可根据工作负载弹性伸缩,灵活配置,按需分配资源,还可以快速支持突发的应用计算需求,如:沙盘演练等。
2004年左右,Hadoop出现之后,有2个系统十分知名:分布式文件系统HDFS和面向大数据并行处理的计算模型MapReduce。MapReduce由于其自身的复杂性,现在使用得越来越少。Hadoop社区也及时发现了这个问题,这种情况促进了Hive的出现,可将SQL语句转换为MapReduce任务进行运行,Hive定义了简单的类SQL查询语言,称为HQL。2011年,我任职EMC时参与了刚刚启动的HAWQ项目。我们看到SQL-on-Hadoop引擎运行特别慢,但传统的MPP却非常快,因此我们将这两种技术结合起来形成了HAWQ。在SQL-on-Hadoop引擎的对比中,我们从两个维度比较,第一个维度是兼容性和性能,第二个维度是可扩展性和开放性。新的SQL-on-Hadoop引擎,以HAWQ为代表优势明显。
作为新型的SQL-on-Hadoop引擎,Apache HAWQ满足了哪些方面的用户需求?在应用层,比如做政务大数据、公安大数据、电力大数据等都是从应用出发,对底层技术相对缺乏了解。……
