丁岩　杨万祥　汪清　杨乐　胡晓

【摘 要】大数据统一SQL引擎不管是从现实要求，还是从大数据应用方面来讲，都值得深入研究，目前大数据生态系统中的不同SQL引擎都有各自适合的应用场景，性能指标也不相同，很难选择一种SQL引擎覆盖所有的应用需求。本文提出了大数据统一SQL引擎方案，集成多个SQL引擎，并提供统一的访问接口，用户可以根据需要灵活选用相应的SQL执行引擎，解决传统应用如何快速移植到大数据平台以及多个大数据SQL引擎选型难的问题。

【关键词】大数据;统一SQL引擎;集成;访问接口

中图分类号： TP311.13 文献标识码： A文章编号： 2095-2457（2019）29-0001-004

DOI：10.19694/j.cnki.issn2095-2457.2019.29.001

Research and Design for Big Data SQL Engine

DING Yan1 YANG Wan-xiang1 WANG Qing2 YANG Le2 HU Xiao1

（1.Research Institute of Cloud Computing，Nanjing ZTE New Software Co.Ltd，

Nanjing Jiangsu 210012，China;

2.Information Center of Science and Technology，Nanjing City Public Security Bureau，

Nanjing Jiangsu 210012，China）

【Abstract】Unified SQL engine of big data is worthy to be explored in depth，whether from the practical requests， or from the big data application aspects.In the current big data ecosystem，different SQL engines have own application scenarios，their performance is also not the same，so it is difficult to choose one kind of SQL engines to cover all application requirements.This paper presents an unified scheme of SQL engine for big data，which integrates multiple kinds of SQL engines and provides unified access interfaces.It allows users choose the corresponding SQL engine flexibly，to solve the problem of how to quickly migrate traditional applications to big data platform and how to select the available SQL engine.

【Key words】Big data;SQL engine;Integrate;Access interface

0 引言

目前大數据技术发展及应用越来越成熟[1-4]，从工程或者技术的角度来看，大数据的核心是如何存储[5]、分析、挖掘海量[6]的数据来解决实际的问题。对于一个工程师或者分析师来说，如何查询和分析TB/PB级别的数据是在大数据时代不可回避的问题，所以基于大数据的SQL引擎成了大数据应用的重要手段[7-8]。

但对于传统的基于SQL实现的应用如何快速移植到大数据平台上来以及在现有的多个SQL引擎间如何进行选型是个难题。

1 大数据统一SQL引擎相关技术研究

1.1 背景介绍

大数据可以说无所不在，社交媒体、传感设备、机器生成的信息、手持终端设备产生的信息等等，这些“新数据”有相当一大部分都是非结构化的，而且产生速度非常快，是大数据的一个重要部分。通过这些数据的分析，可以更加全面的了解用户的心理、习惯、喜好等等，从而为提供更好的产品和服务。……