王 锐，陈 丽

（1.中国移动通信集团公司广东分公司 广州510623；2.广东交通职业技术学院计算机工程学院 广州510650）

1 引言

随着互联网、移动互联网和物联网的发展，各种终端、信息收集器产生的数据和种类不断增加。对于海量数据，只有合理存储下来，经过清理、过滤和挖掘，将分析结果以各种直观方式呈现，或者实时地提供服务，提升用户体验，才能体现价值，创造实际效益。

数据仓库是目前企业比较通用的存储数据、获取信息的一种技术和手段，其存储了海量的企业数据，汇总了大量有价值的信息，但数据仓库的应用呈现方式，如KPI报表、OLAP、数据挖掘等，主要是通过对海量数据进行各种维度的不断聚合和汇总分析，处理过程需要数小时或数天，信息获取的实时性非常差，无法提供实时的数据查询服务。

以通信行业为例，由于用户数非常巨大，产生的通话记录、上网记录、短消息记录数据量非常庞大，如广东每天的数据量超过60亿。一般需要经过数据采集、数据装载、数据汇总、报表展示等多个过程，用户才能看到数据的分析结果。但对于实时用户行为分析、实时监控、投诉处理等应用，由于传统数据仓库在实时性上存在弊端，无法有效支撑。

如某用户投诉其手机GPRS套餐流量使用完，但这个月到现在并没有怎么上网，这时就需要查询该用户从月初到现在的所有上网及流量记录。对于这种需求，传统数据仓库技术无法实现，或只能通过一些特殊方式（如采用尽可能小的时间粒度的分区方法、以牺牲装载性能的在线索引方法）实现。……