Joint offloading strategy for cloud manufacturing based on hybrid deep reinforcement learning in cloud-edge collaboration

Zhang Yaru，Guo Yinzhang† （Colegeof ComputerScienceamp;Technology，Taiyuan UniversityofScienceamp;Technology，TaiyuanO3o024，China）

Abstract：Toaddress theissueofreal-time perceptiondata frommanufacturingresources being dificult toprocess promptlyin acloud-edgecollaborative cloud manufacturingenvironment，considering uncertainfactors suchas the limited computingresources attheedge，dynamicallychanging network conditions，andtaskloads，thispaper proposedacloud-edgecolaborative jointoffloading strategybasedonmixed-baseddeepreinforcementlearning（M-DRL）.Firstly，thisstrategyestablishedajoint ffloadigmodelbycombiningdiscretemodeloffloadinginthecloudwithcontinuoustaskoffloadingattheedge.Secondly， this strategydefinedtheoptimizationproblemasaMDPtominimizethetotalcostofdelayandenergyconsumptionoveraperiod. Finally，thispaper used the M -DRL algorithm，which utilized an integrated exploration strategy of DDPG and DQNand introducedalongshort-termmemory network（LSTM）intothenetworkarchitecture，tosolvethisoptimizationproblem.Simulation results showthatcompared with some existing ofloadingalgorithms，the M-DRL method has goodconvergence and Stability， andsignificantlyreduces thetotalsystemcost.Itprovidesanefectivesolutionforthetimelyprocessingofmanufacturingresource perception data.

Keywords：cloudmanufacturing；cloud-edgecolaboration;jointofloading；LSTMreinforcementlearning；Markovdecision process（MDP）

0 引言

云制造作为一种新兴的生产模式，以前所未有的速度改变着全球制造业的格局。它通过整合云计算、大数据、物联网等先进技术，实现了制造资源的虚拟化、网络化和智能化管理[1]。然而，随着云制造环境下的制造资源实时感知数据呈指数级增长，传统计算模式面临着前所未有的挑战。

在生产制造过程中积累的大量数据对于实时监控设备状态、提升生产效率至关重要。在群智感知与协同的智能制造环境下，由于网络传输延迟等原因，生产过程中的大量实时数据无法及时传输到云端进行处理。于是引入云边端泛在协同算法来解决。边缘计算部署在产生数据的设备端，能够提供快速响应、实时服务、数据处理及安全保障等能力，它能有效地减轻云端的负载并降低延迟[2]。然而，边缘计算的计算和存储资源有限，在处理复杂任务时可能会遇到瓶颈。云计算提供了强大的计算和存储资源，适合进行大规模数据处理和复杂算法的运行。然而，随着越来越多的传感器和智能设备被部署在工业环境中，数据的生成速率和规模急剧增加，尤其是数据从生成到决策直至执行的整个过程中的延迟问题，迫切需要在设备端处理实时性很高的数据，以满足生产过程的需求。因此，面向智能化设备的云边协作架构被提出[3]

在云制造云边协作架构中，信息由下而上，再由上而下形成闭环[4]。但由于边缘设备端和云的计算与通信资源有限，如果对这些资源的协调运用没有形成闭环优化，就无法充分发挥云边协作的优势。……