APP下载

HAWQ:大数据技术发展新趋势

2017-09-25常雷

软件和集成电路 2017年8期
关键词:引擎

常雷

偶数科技在2016年底成立,主要是由EMC/Pivotal核心团队成员组成,现在做两个事情,偶数两大产品:Apache HAWQ和Oushu HAWQ++。今天我主要介绍大数据领域的发展趋势中关于计算引擎的部分。

在数据平台的演进路线中,第一代数据仓库相对传统,以小型机或一体机的专有的硬件平台为主,面向传统的BI分析,系统缺乏弹性,资源固定,不易调整,很难支持突发的应用需求或密集复杂的计算需求。第二代数据平台是大家熟悉的MPP,可以支持密集、复杂的计算需求,但需要一定时间。到了第三代,其实是最近五六年发展起来的新型数据仓库,可根据工作负载弹性伸缩,灵活配置,按需分配资源,还可以快速支持突发的应用计算需求,如:沙盘演练等。

2004年左右,Hadoop出现之后,有2个系统十分知名:分布式文件系统HDFS和面向大数据并行处理的计算模型MapReduce。MapReduce由于其自身的复杂性,现在使用得越来越少。Hadoop社区也及时发现了这个问题,这种情况促进了Hive的出现,可将SQL语句转换为MapReduce任务进行运行,Hive定义了简单的类SQL查询语言,称为HQL。2011年,我任职EMC时参与了刚刚启动的HAWQ项目。我们看到SQL-on-Hadoop引擎运行特别慢,但传统的MPP却非常快,因此我们将这两种技术结合起来形成了HAWQ。在SQL-on-Hadoop引擎的对比中,我们从两个维度比较,第一个维度是兼容性和性能,第二个维度是可扩展性和开放性。新的SQL-on-Hadoop引擎,以HAWQ为代表优势明显。

作为新型的SQL-on-Hadoop引擎,Apache HAWQ满足了哪些方面的用户需求?在应用层,比如做政务大数据、公安大数据、电力大数据等都是从应用出发,对底层技术相对缺乏了解。……

登录APP查看全文

猜你喜欢

引擎
以学促干 挺膺担当 激活砥砺前行的红色引擎
江阴市“三个创新”打造危化品安全监管新引擎
新海珠,新引擎,新活力!
消费继续发挥经济增长第一引擎作用
蓝谷: “涉蓝”新引擎
休闲垂钓 传统渔业新引擎
信息化,“盛京”加速的新引擎
无形的引擎
基于Cocos2d引擎的PuzzleGame开发
外汇业务装上新引擎