基于Hadoop 技术的物联网大数据同步存储系统设计
2023-09-19邹文景唐良运
电子设计工程 2023年18期
邹文景,唐良运,甘 莹,孙 刚
(南方电网数字电网研究院有限公司,广东广州 510663)
随着物联网技术的快速发展和普及,物联网大数据的数量呈几何倍数增长,为保证数据存储的质量和安全,物联网大数据同步存储系统实际应用不可缺少。传统的物联网大数据同步存储系统以并行数据存储为主,硬件配置要求不高,系统运行和维护成本较低。但随着物联网环境的日益复杂,数据丢失、窃取、泄露等问题不断发生,传统的存储系统不能实现高质量的数据存储,出现了存储时延长、安全性较低、存储速度慢等情况[1-2]。
为此,国内的相关研究人员和专家学者展开了深入的研究。以往设计的基于区块链的物联网大数据同步存储系统[3],以区块链技术为基础,构建物联网数据自动存储模型,采用激励机制计算最优运算模式,缩短数据存储时间,支持多通道多协议同步数据存储,设计成本低,数据存储同步性高,但运算过程复杂,收敛性较差,导致数据存储效率较低。基于云计算的物联网大数据同步存储系统[4],在云计算环境下构建分布式控制系统,以FPGA 芯片为核心处理器,集成嵌入式芯片、寄存器、SPI 接口等硬件设备,在Linux 操作系统的支持下,配合多信道进行大数据并行传输,能够在短时间内进行海量数据存储,具有较高的数据存储效率,但并行存储技术不够成熟,数据存储同步性差,数据存储易出现误差。
针对以上问题,该文设计了基于Hadoop 技术的物联网大数据同步存储系统。……
登录APP查看全文
