苗本静，张 余，潘志文，刘 楠，尤肖虎

(1.东南大学 移动通信国家重点实验室，南京 210096；2.国防科技大学 第六十三研究所，南京 210007；3.网络通信与安全紫金山实验室，南京 211100；4.中国人民解放军96941部队，北京 100089)

0 引 言

动态频谱接入作为共享无线电频谱、提高频谱利用效率的有效技术之一，近年来受到广泛关注。主用户(授权用户)和次用户(非授权用户)共存情况下，动态频谱共享方式可以分为频谱覆盖式(overlay)和频谱下垫式(underlay)2种接入模式。Overlay接入模式下，次用户只能接入主用户不使用的那部分授权频段[1]，而underlay接入模式下，次用户的传输功率若在给定干扰水平之下，就可以和主用户共同使用频谱资源[2]。文献[4]提出了面向覆盖式和下垫式的频谱接入方案，并对其性能进行了分析，但只考虑了单个主用户和单个次用户存在的情况。文献[5]根据次用户的感知性能推导出次用户的传输功率界限，从而限制其对主用户的干扰，虽然保护了主用户，但是对次用户要求严格，忽视了次用户的需求。

动态频谱接入中用户获取的频谱信息准确程度，会影响次用户频谱接入决策的结果。强化学习不需要系统环境的先验知识，智能体仅需要通过观察环境的状态变化和采取动作后收到的奖励反馈来学习提高性能[6]，比如，Q-learning算法就是不基于模型的典型强化学习算法，它通过Q函数值的更新来学习良好的策略，但在解决大的状态和动作空间问题上会呈现出不足，而结合了深度学习与Q-learning的Deep Q-Network(DQN)有更好的优势[7]。……