APP下载

基于S4框架的并行复杂事件处理系统

2012-08-07陈皓李瑜虎嵩林梁英

通信学报 2012年1期
关键词:实验系统

陈皓,李瑜,虎嵩林,梁英

(1. 中国科学院 计算技术研究所,北京 100190;2. 中国科学院 研究生院,北京 100049)

1 引言

当今社会是一个信息爆炸的社会。由于离散数据源的增加,如标签、微博、传感技术等的发展,使得信息处理系统所需要进行处理的数据量大大增加。另外,社交网络、高频交易、实时搜索等新应用的出现,对处理速度的要求达到了传统处理系统的极限。由于海量数据是具有时效性的,最佳的解决方法不是先把数据在数据库中缓存起来再一批一批地处理,而是每当数据出现时便进行一次处理,实时地处理数据。复杂事件处理技术[1,2](CEP, complex event processing)作为信息处理系统的新兴技术,具有高吞吐量、短延迟和复杂计算的特点。它采用以事件驱动为基础的架构,可处理不同事件源、不同类型的事件。它通过分析事件间的关系,利用过滤、关联、聚合、排序等技术,将输入简单事件同其他事件联系起来进行检测,在特定的上下文中分析计算,最终由简单事件产生输出复杂事件。

复杂事件处理系统所需处理的数据流量往往非常大,然而用户却希望实时地得到结果。面对海量而关系复杂的信息,系统还须进行快速地计算继而快速决策,这对系统的吞吐量提出了很高的要求,单一节点的处理速度往往难以满足需要。

MapReduce[3,4]是目前应用极为广泛的并行软件构架。它使用键值对描述数据,将复杂的运算分成“Map(映射)”和“Reduce(化简)”2个独立步骤进行处理。Map和Reduce都是对其输入数据中的元素进行独立地操作,所以这2个运算步骤都是可以并行的,但Reduce操作要等待所有Map操作完成才能开始。……

登录APP查看全文

猜你喜欢

实验系统
记一次有趣的实验
Smartflower POP 一体式光伏系统
WJ-700无人机系统
ZC系列无人机遥感系统
基于PowerPC+FPGA显示系统
做个怪怪长实验
半沸制皂系统(下)
连通与提升系统的最后一块拼图 Audiolab 傲立 M-DAC mini
NO与NO2相互转化实验的改进
实践十号上的19项实验