改进深度强化学习算法的计算卸载策略
2021-05-10葛海波弓海文
葛海波,弓海文,宋 兴,李 顺,孙 奥
(西安邮电大学 电子工程学院,陕西 西安 710121)
随着智能手机、平板电脑等移动设备的数量急剧增加,诸如图像识别、增强现实、虚拟现实等任务密集型、时延敏感型的应用程序大量增长[1]。这些移动应用常常需要大量的计算资源,而受限于计算能力与电池容量的移动设备越来越无法支持这些应用[2]。为了克服这一问题,移动云计算(Mobile Cloud Computing,MCC)作为一种新的分布式计算模型被提出[3],MCC允许终端从云计算中心借用计算和存储资源,满足资源需求型应用程序的需要[4]。尽管MCC可以节约本地的计算资源,但是,从移动设备到基站或云服务器的长距离传输可能会导致严重的时间延迟和额外的传输能耗[5-6]。
针对MCC存在的问题,欧洲电信标准化协会(European Telecommunications Standards Institute,ETSI)提出了移动边缘计算(Mobile Edge Computing,MEC)技术[7]。由于MEC卸载策略具有非确定性多项式难题(Nondeterministic Polynominal-Hard,NP-Hard),大多数卸载策略都采用启发式算法[8]。例如,文献[9]提出了一种单用户的MEC系统优化框架,该框架采用一种基于线性规划松弛和半确定松弛方法的卸载决策算法,降低了执行延迟和能耗。文献[10]设计了一种基于遗传算法的任务卸载策略,减小了系统的总开销。文献[11]将MEC模型中的任务卸载问题描述为非线性问题,并提出了一种卸载算法来减少任务延迟并提高用户设备(User Equipment,UE)的电池寿命。文献[12]提出了一种基于能量消耗和等待时间的任务分担算法,其能耗和等待时间加权总和较低。文献[13]提出了一种基于改进遗传算法的边缘卸载策略,将每个卸载策略作为一条染色体,每条染色体上的基因对应一个计算任务,以降低系统总开销。……
