一种面向流数据的分布式实时存储方法
2016-01-14孙艳华王丽娜
电脑知识与技术 2015年19期
关键词:方法
孙艳华 王丽娜
摘要:随着物联网建设的不断发展,以实时传感数据为基础的各类流数据如何及时快速存储已成为当前急需解决的问题。面对连续不断到达的数据流,数据流存储系统必须及时快速将其存储到持久化介质中。针对这一需求,本文提出了一种基于缓存的分布式实时存储方法DRS。DRS方法依据窗口阈值,不间断地从缓存区接收数据,并结合一致性哈希算法将数据分布存储到数据服务器中。实验表明,该分布式存储方法能够实时地将数据存储到持久化介质中。
关键字:流数据;实时存储;阈值;一致性哈希
中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2015)19-0005-02
1引言
随着物联网建设地不断发展,流数据逐渐成为信息化系统中一类关键数据形式。该类数据如何及时存储已成为当前物联网应用建设中的一个重点。对于实时数据存储系统而言,首先要确保数据及时存储,从而保证数据的实时性。由于数据延迟存储,造成数据处理的非正确性,做出错误的决策。
以一个物联网环境下的地铁站交通监管数据流存储任务为例,该任务需要监管以下几类数据:1)客流;2)基础设施:扶梯,售票机,防火设备,照明灯等;3)车流:地铁,公交车,出租车等。收集并将该流数据及时存储。在该背景下,设计一种实时存储方法成为必要。
2交通枢纽实时监管系统
交通监管系统通过具体设备进行数据监测,存储,处理,对交通事件做出及时具体的措施。该系统采用了分布式的并行架构。……
登录APP查看全文
