郑冰原，孙彦赞，吴雅婷，王 涛，方 勇

（1.上海大学上海先进通信与数据科学研究院，上海 200444；2.上海大学特种光纤与光接入网重点实验室，上海 200444；3.上海大学特种光纤与先进通信国际合作联合实验室，上海 200444）

0 概述

随着智能终端数量的急剧增加和网络流量的指数级增长，目前蜂窝网络对网络容量和用户速率的需求面临着巨大挑战。超密集异构网络［1］作为5G移动通信的关键技术之一，可有效提高网络覆盖率和网络容量。由于基站的密集部署将会产生严重的干扰和能耗问题，从而导致网络性能下降［2］，致使用户网络服务质量（Quality of Service，QoS）无法得到有效保障。

超密集网络中的资源分配策略会影响网络性能和用户体验，针对异构网络和超密集网络中的资源分配问题已有广泛研究。文献［3-4］利用随机几何分析系统能效（Energy Efficient，EE）与基站（Base Stations，BSs）密度之间的关系。文献［5］提出利用联合功率控制和用户调度的策略对网络能效进行优化。文献［6］提出了基于分簇的高能效资源管理方案，并阐述了资源分配和功率分配分阶段优化方法可实现能效优化。文献［7］通过联合考虑功率分配及负载感知来优化网络能效。文献［8］考虑了用户QoS 需求并对网络能效进行分析。上述研究主要是通过传统的优化算法对网络能效进行优化。而在超密集网络中，基站数量的增加使得上述算法的复杂度将会急剧增大。为降低算法的计算复杂度，基于强化学习的无线资源分配策略受到了广泛关注。

文献［9-11］表明，无模型强化学习框架可用来解决无线网络中的动态资源分配问题。……