基于Hadoop的高效率海量电子通信信息存储方法
2021-04-21刘苏英张晴晴
安阳师范学院学报 2021年2期
关键词:信息
刘苏英,张晴晴
(安徽机电职业技术学院,安徽 芜湖 241002)
0 引言
互联网与智能技术盛行的时代,网络信息在消息传达中起到不可替代的作用,人们的电子通信意识与理念也随之日益更新[1]。社会各领域信息传递需求量千差万别,其中不乏大规模电子通信信息的传递与存储,为高效率、低能耗解决海量电子通信信息存储问题,本研究基于Hadoop集群构建大规模信息存储模型[2]。Hadoop集群框架属于开源云平台,创造了HDFS文件系统、MapReduce并行式计算模型的运行环境,打造了良好的海量电子通信文件信息存储条件[3]。本文提出的Hadoop海量电子通信信息存储方法不仅构建了Hadoop集群存储模型,并且使用动态优先级负载均衡调度算法协调海量信息存储任务,减少存储节点的能量消耗与负载情况,实现高效率、低能耗信息存储目标。
1 基于Hadoop的高效率海量电子通信信息存储技术
1.1 基于Hadoop集群的云存储模型设计
传统的Hadoop集群利用单节点主从结构存储文件,其缺点是对中心存储节点造成极大压力,甚至发生电子信息存储停滞问题。为此利用图1所示的单节点双层Hadoop结构代替传统的主从结构,分担节点压力。
主Hadoop结构的分析节点用于控制中心节点集群,基于用户信息向服务器分配存储任务。电子通信信息资源元数据全部保存在中心节点集群中,以Hadoop平台的元数据为基础构建完整的数据库。数据管理节点属于低层次的数据节点集群控制单元,集群的心跳数据检测、节点能量均衡负载、集群的其他事务管理均在此单元中进行,不具备元数据存储功能[4]。……
登录APP查看全文
