张前进

(安徽国防科技职业学院信息工程系，安徽六安237011)

基于Storm的物联网海量实时数据流处理研究

张前进

(安徽国防科技职业学院信息工程系，安徽六安237011)

针对物联网中数据实时与异构的特点，设计了基于云计算的海量实时数据感知与处理模型。结合海量实时数据并行处理机制与数据处理流程，利用开源实时处理系统Storm，实现了海量实时数据流处理过程，并给出了核心实现方法。

物联网;实时数据;海量数据

物联网的概念是国际电信联盟(International Telecommunication Union，ITU)在2005年的《ITU Internet reports 2005-the Internet of things》中提出的。ITU认为“通过对事物内嵌RFID微型芯片或者传感器芯片，通过互联网就能实现物与物、人与物、人与人之间的信息交互，从而形成一个无所不在的物联网”[1]。随着物联网技术的快速发展，以及智慧城市、智能交通、智慧农业等项目的建设，传感器的数量呈指数级增长，IDC报告中指出，到2020年全球传感器数量将突破2 120亿个[2]。如此庞大数量的传感器每时每刻都在产生实时数据，其数据规模是海量的。在海量的物联网数据中，一方面，数据本身是异构的，既有存储在关系数据库中的结构化数据，又有web形式的半结构化数据，还有音视频等文档形式的非机构化数据；另一方面，很多应用场景的实时数据具有时效性，如智慧农业中的天气、环境等。针对物联网实时数据规模与特点，本文利用分布式实时处理Storm开源架构，设计了基于物联网的海量实时数据处理系统。

1 物联网海量数据实时感知与处理模型

物联网中除了数据是异构的，感知设备本身的数据采集协议、传输协议也是异构的。……