谭志远

（中国电信股份有限公司广州研究院，广东 广州 510630）

1 引言

随着大数据技术及应用的蓬勃发展，海量数据的处理、挖掘、统计分析得以实现，针对如何把这些海量数据处理后的结果呈现给决策者或最终用户，或者说大数据应用输出的结果如何实现快速查询，目前有多种技术解决方案，例如前端系统可以通过Impala查询，或把HDFS数据同步到MySQL数据库供前端查询，或把数据存入HBase供前端查询，也可以引入Kylin技术来实现大规模数据的查询等。

在确保用户感知（查询的响应时延在用户可接受范围内）的前提下，各种查询方式或技术如何选择，各种查询技术适合什么样的应用场景等问题，都值得进行深入的探讨。本文结合大数据技术应用经验，分析各种技术的特点及缺陷，参考各种应用技术在实验室性能测试的结果，探讨大数据各种查询技术的应用策略。

2 大数据查询技术特点及存在的问题

在Hadoop生态圈中，目前可以实现对海量数据结果进行查询的工具或技术主要有：Hive、Impala、HBase、Kylin、MySQL（使用Sqoop同步）和Phoenix等。

在这些技术中，从用户体验的角度考虑，重点评估该技术的查询响应时延，即从提交查询到得到查询结果的时延，基于一般的使用经验，如果响应时延超过3 s，这种查询技术就严重影响用户的使用体验，因此响应时延大的查询技术不在选择和评估的范围内，例如Hive用作数据处理、分析是非常理想的工具，但是如果用来作为查询工具，其响应时延就无法得到保证，如果用来作为查询工具将带来非常糟糕的用户体验。……