杨　臻　杨志宏　肖　汉

1(郑州师范学院信息科学与技术学院　河南 郑州 450044)2(中州大学信息工程学院　河南 郑州 450044)



面向海量数据的在线流数据服务框架

杨臻1杨志宏2肖汉1

1(郑州师范学院信息科学与技术学院河南 郑州 450044)2(中州大学信息工程学院河南 郑州 450044)

针对多应用共享海量流数据的问题，提出一个在线流数据服务框架。通过对多应用共享流数据场景进行分析和抽象，设计具有数据层、管理层和接口层的在线流数据服务框架。框架将流数据管理划分为索引建立、注册器、匹配器和内存清理四个组成部分，并且通过一个专用的数据管理引擎对流数据进行管理。框架的提出为多应用流数据共享场景提供了一种统一管理流数据的方案。实验结果表明，相对与传统数据库，在线流数据服务框架在流数据写入速度能提高近5倍，在流数据的读取速度上提高4倍左右。

流数据在线服务海量数据管理数据服务框架数据管理引擎

0　引　言

进入21世纪，数据以令人惊讶的速度增长，我们的生活被海量数据所包围。根据IDC 的预测，在2005年到2015年这十年的时间内，全球数据总量将从2000 EB增长到近8000 EB[1]。如此庞大的数据规模为数据的分析和处理提出了更多的挑战。从实时采集、在线处理的角度来说，互联网数据可以视为一种典型的流数据。

在互联网应用中有一种多应用共享流数据的场景，多个应用需要在一定的时效期内访问该数据，对其进行在线分析和计算。这种场景广泛存在于目前比较流行的互联网搜索挖掘系统中，其难点主要体现在流数据处理的时效性和应用的高效性两方面。……