云存储环境下大数据实时动态迁移算法研究
2021-03-16杨华芬
机械设计与制造工程 2021年2期
关键词:效率
杨华芬
(上海工商外国语职业学院智能制造与信息工程学院,上海 201399)
在计算机科学技术、网络技术和信息产业的推动下,计算机网络系统的复杂程度逐渐提高[1],数据规模也呈现出PB级增长趋势[2]。大数据的特点不仅在于数据总量的海量性,更在于数据结构的多样性和复杂性,大量半结构化和非结构化的数据类型给大数据的存储与迁移带来巨大难度[3-4]。数据迁移是大数据和云计算系统中的核心技术之一,在云存储环境下大数据的实时动态迁移效率与可靠程度,将决定云计算系统的总体性能[5-6]。数据迁移的过程复杂,尤其是在非结构化和数据不兼容的系统中,既需要对迁移结构进行实时验证,还要关注数据迁移的代价和资源消耗。随着数据存储量的成倍增加,大数据动态迁移的成本也不断提高[7],而可靠性和效率却随之降低,因此在动态迁移过程中采用合理的迁移调度算法十分关键。
文献[8]提出一种基于大数据网络节点存储容量感知的综合调度策略,通过对当前节点容量的计算和分配达到均衡网络负载的目的,但该种算法未能考虑到网络访问次数增加而增加的时间消耗;文献[9]提出一种基于粒子群遗传算法的调度策略,尽管能够从全局的角度均衡网络负载,但迁移效率偏低、耗时过长;钱雪忠、金保林等[10-11]基于一种自适应模糊算法试图平衡数据迁移过程中的网络负载失衡问题,但该算法无法解决上一个周期遗留下来的分配不合理问题,导致某些数据频繁被选取,进而加大了大数据网络系统的硬件开销。……
登录APP查看全文
