随机状态下基于期望经验回放的Q学习算法
2020-03-18董春茹
深圳大学学报(理工版) 2020年2期
张 峰,钱 辉,董春茹,花 强
河北省机器学习与计算智能重点实验室,河北大学数学与信息科学学院,河北保定071002
Q学习算法[1]是一种用来解决马尔可夫决策问题[2]的流行算法.与动态规划的值迭代和策略迭代算法相比,Q学习算法能应用于对模型未知的环境中,通过对环境采样,基于Bellman最优方程,采用Bootstrap方式来迭代更新状态-动作的Q值与最优策略.Q学习算法的更新公式[2]为
Qt(s,a))
(1)

Q学习算法的收敛速度与经验数量指数相关[3].为进一步提高Q学习算法的收敛速度,研究人员提出了很多Q学习更新算法. 如Q(λ)算法[4]、后向Q学习算法[5]等.但是这些改进算法通常会将实时采样数据更新后就丢弃,造成两个问题:① 对于那些不容易被采样的状态,仅使用1次会造成数据利用效率降低;② Bellman方程中每个Q值的更新依赖于后续状态中的Q值,使用逆序访问序列的收敛速度更快,而标准形式的Q学习算法中Q值更新是按正序访问序列方式更新的,收敛速度较慢.针对这些问题,LIN[6]提出经验回放算法.随后MINH等[7]将其扩展到深度学习领域,提出深度Q网络(deep Q-network, DQN)算法,通过构造经验池保存历史经验,再采用经验回放的方法,在必要时再次使用历史经验.该算法打破了状态转移之间的强关联性,不仅保证了监督学习中数据独立同分布的假设,还加快了算法收敛速度,提高了数据利用率.
目前关于深度强化学习的研究中,针对经验回放主要采取两种方式:① 均匀回放,即将采样序列〈s,a,r,s′〉保存到经验池中,等概率选择经验池中的经验,并应用式(1)更新Q值;……
登录APP查看全文