基于Hopfield神经网络的云存储负载均衡策略
2017-10-21刘晓峰
李 强, 刘晓峰
(1.太原理工大学 财经学院,太原 030024; 2.山西省财政税务专科学校 信息学院,太原 030024; 3.太原理工大学 大数据学院,太原 030024)
(*通信作者电子邮箱122824940@qq.com)
基于Hopfield神经网络的云存储负载均衡策略
李 强1,2, 刘晓峰3*
(1.太原理工大学 财经学院,太原 030024; 2.山西省财政税务专科学校 信息学院,太原 030024; 3.太原理工大学 大数据学院,太原 030024)
(*通信作者电子邮箱122824940@qq.com)
针对当前Hadoop存储效率不高,且副本故障后恢复成本较高的问题,提出一种基于Hopfield神经网络(HNN)的存储策略。为了实现系统整体性能的提升,首先分析影响存储效率的资源特征;然后建立资源约束模型,设计Hopfield能量函数, 并化简该能量函数;最后,通过标准用例Wordcount测试,分析8个节点的平均利用率, 并与三个常用算法包括基于资源的动态调用算法、基于能耗的算法和Hadoop默认存储策略进行性能和资源利用方面的比较。实验表明,与对比算法相比,基于HNN的存储策略在效率上分别平均提升15.63%、32.92%和55.92%。因此,该方法在应用中可以更好地实现资源负载平衡,将有助于改善Hadoop的存储能力,并可以加快检索。
云存储;Hadoop;Hadoop分布式文件系统;副本策略;负载均衡
0 引言
云存储作为云计算的一种重要应用,通过对数据资源的统一化管理,能为用户提供高可靠性和可用性的大数据存储方式,受到到商界和学术界的特别重视[1-2]。基于Google云的云存储服务案例告诉我们,云并不一定建立在大规模和高可靠性的专用机器上,如果通过采用策略算法实施于一群普通PC上,就可以实现廉价的大规模存储。……
