吴官翰 赵建伟 高飞飞

摘要：空天地一体化网络是未来6G的关键内容。结合高精度波束赋形，无人机（UAV）的视距链路（LoS）可很好地作为空天地一体化网络的补充，但地面用户与基站间的相对运动极易造成信道容量失衡。提出一种噪声深度确定性策略梯度（Noisy-DDPG）方法。该方法以最大化通信公平性和系统容量为目标，利用DDPG优化分配方案，通过调整奖励函数策略参数来实现公平性和信道容量的平衡；通过在策略网络中利用可学习参数噪声进行扰动，得到更合理的分配方案。仿真实验验证了该算法的有效性。

关键词：无人机基站；资源调度；DDPG；公平通信；参数噪声

Abstract： The space-air-ground integrated network is an important part of the future 6G， which can be well complemented by the unmanned aerial vehicles （UAV） line-of-sight（LoS） link combined with high-precision beamforming. However， the random channel characteristics of mobile users can easily cause channel capacity imbalance. In this paper， the Noisy-Deep Deterministic Policy Gradient （Noisy-DDPG） is proposed. To maximize communication fairness and system capacity， the Deep Deterministic Policy Gradient（DDPG） is used to optimize the allocation strategy. Besides， fairness and channel capacity are differently emphasized by adjusting the reward function policy parameters. Moreover， the learnable parameter noise is used to disturb the policy network to obtain a more reasonable allocation plan. Finally， various simulation results to verify the effectiveness of the algorithm are proposed.

Keywords： UAV base station； resource allocation； DDPG； fair communication； parameter noise

研究表明，預计到2030年，以固定基站为主的5G移动通信将无法满足日益增长的数据业务需求，大量新生业务将产生海量数据资源，物理世界与数字世界之间的界限将更为模糊[1]。在此背景下，集中式的数据处理中心将承受更为巨大的压力，遥远的云端服务器也不利于满足远端用户低时延的数据处理需求。

无人机作为移动载体，可搭载5G/超5G（B5G）通信基站或边缘服务器，并结合高精度的波束赋形形成指向性强、增益高的窄波束，以减少邻居干扰，有效克服毫米波及以上频段射频信号衰减巨大这一现实问题[2-3]。将无人机基站作为未来空天地一体化网络的中间节点，卸载部分用户通信与计算任务，成为一种具有潜力的组网方式[4]。在一个无人机小区中，用户的随机移动将带来不可预知的动态拓扑结构，基站单一的带宽、功率分配策略往往会造成小区内信道容量失衡。……