基于粒子滤波的强化学习算法研究
2016-09-25董春利
无线互联科技 2016年15期
关键词:策略
董春利,王 莉
(南京交通职业技术学院 电子信息工程学院,江苏 南京 211188)
基于粒子滤波的强化学习算法研究
董春利,王莉
(南京交通职业技术学院 电子信息工程学院,江苏南京211188)
文章分析了一种基于粒子滤波和强化学习的算法。该算法通过结合粒子滤波和Q-学习算法,得到一种基于粒子滤波和强化学习的机会频谱接入算法(RLPF)。实验结果表明,RLPF算法能够在策略空间直接进行全局搜索,这是对传统的基于局部搜索策略的强化学习算法的明显改善。
强化学习;粒子滤波;策略空间;全局搜索
由于频谱资源紧张并不是频谱真正“物理上的稀缺”,而是传统的静态频谱管理方式导致的结构性矛盾。动态频谱接入(Dynamic Spectrum Access,DSA)被认为是一种与传统静态频谱管理相反的频谱利用方式,这使得DSA有了更广泛的内涵,为提高频谱资源的利用效率提供了全新的方向。认知无线电是实现DSA的关键技术,提供了与授权用户(Provided User,PU)机会共享无线信道的能力[1]。
认知无线电的OSA具有认知能力,能感知当前网络条件并且作出规划和决策,具有对以前决策的评判和未来决策判定的学习能力。因为OSA系统中的频谱环境总是随时间而变化,因此在不需要信道环境的先验知识和动态模型的前提下,亟待通过不断与环境进行交互学习,实现优越性能的革新技术出现[2]。强化学习作为一种无模型、无监督的在线学习算法,是解决上述问题的有效途径,近年来已经成为解决OSA问题的主流方法,得到了广泛应用。……
登录APP查看全文
