卢华 段雪飞 李斌

摘要：在移动边缘计算（MEC）与星地协同网络（STIN）融合的网络架构中，针对卫星网络和边缘计算对时延与资源敏感的特点，以最大化用户服务质量（QoS）为目标，提出基于强化学习的深度Q网络（DQN）算法部署机制。将部署问题描述为一个马尔可夫决策过程（MDP），并把卫星节点的状态和部署行为分别建模为DQN中的状态和动作。通过卫星的计算资源与卫星和用户的通信时延给出奖励值，在神经网络中训练以优化部署行為，进而实现最优部署策略，并对提出的算法做仿真。与其他算法对比的结果表明，在相同的优化目标条件下，DQN算法有较好的性能。

关键词：边缘计算；服务部署；强化学习

Abstract： In the network architecture of mobile edge computing （MEC） and satellite terrestrial integrated network （STIN）， the satellite network and edge computing are sensitive to delay and resources. To maximize users quality of service （QoS）， a deployment mechanism based on the reinforcement learning deep Q network （DQN） algorithm is proposed. The deployment problem is described as a Markov Decision Process （MDP）. The state and deployment behavior of the satellite nodes are modelled as the state and action in the DQN. The reward value is given by the satellite computing resources and the communication delay between the satellite and the user. Training in the neural network to optimize the deployment behavior achieves the optimal deployment strategy. The proposed algorithm is simulated and compared with other algorithms. The result shows that under the same optimization target conditions， the DQN algorithm has better performance.

Keywords： edge computing； service deployment； reinforcement learning

近年来，互联网与通信技术都取得了长足进步。大数据、云计算等新兴技术已经得到广泛运用并成为当前的基础性技术[1]。受益于5G的大规模使用，物联网（IoT）、虚拟现实（VR）/增强现实（AR）/混合现实（MR）、高分辨率（4K/8K）视频传输得到了进一步推广。然而，以车联网（IoV）、远程医疗、高帧率游戏等为代表的要求响应速度快、时延超低、占用带宽较大的应用，对现有网络体系架构提出很大的挑战。虽然5G的应用可以缓解部分需求，但是用户与云计算中心通信产生的时延，以及海量数据传输对带宽的占用，与云计算技术本身都是矛盾的。为了解决这些问题，我们需要在数据中心之外，让计算、存储、网络延展到互联网的边缘，甚至到每个家庭的互联网网关上，使服务更加靠近用户。这种技术就是边缘计算[2-3]。……