APP下载

随机状态下基于期望经验回放的Q学习算法

2020-03-18董春茹

深圳大学学报(理工版) 2020年2期
关键词:经验动作环境

张 峰,钱 辉,董春茹,花 强

河北省机器学习与计算智能重点实验室,河北大学数学与信息科学学院,河北保定071002

Q学习算法[1]是一种用来解决马尔可夫决策问题[2]的流行算法.与动态规划的值迭代和策略迭代算法相比,Q学习算法能应用于对模型未知的环境中,通过对环境采样,基于Bellman最优方程,采用Bootstrap方式来迭代更新状态-动作的Q值与最优策略.Q学习算法的更新公式[2]为

Qt(s,a))

(1)

Q学习算法的收敛速度与经验数量指数相关[3].为进一步提高Q学习算法的收敛速度,研究人员提出了很多Q学习更新算法. 如Q(λ)算法[4]、后向Q学习算法[5]等.但是这些改进算法通常会将实时采样数据更新后就丢弃,造成两个问题:① 对于那些不容易被采样的状态,仅使用1次会造成数据利用效率降低;② Bellman方程中每个Q值的更新依赖于后续状态中的Q值,使用逆序访问序列的收敛速度更快,而标准形式的Q学习算法中Q值更新是按正序访问序列方式更新的,收敛速度较慢.针对这些问题,LIN[6]提出经验回放算法.随后MINH等[7]将其扩展到深度学习领域,提出深度Q网络(deep Q-network, DQN)算法,通过构造经验池保存历史经验,再采用经验回放的方法,在必要时再次使用历史经验.该算法打破了状态转移之间的强关联性,不仅保证了监督学习中数据独立同分布的假设,还加快了算法收敛速度,提高了数据利用率.

目前关于深度强化学习的研究中,针对经验回放主要采取两种方式:① 均匀回放,即将采样序列〈s,a,r,s′〉保存到经验池中,等概率选择经验池中的经验,并应用式(1)更新Q值;……

登录APP查看全文

猜你喜欢

经验动作环境
2021年第20期“最值得推广的经验”评选
长期锻炼创造体内抑癌环境
一种用于自主学习的虚拟仿真环境
孕期远离容易致畸的环境
经验
环境
2018年第20期“最值得推广的经验”评选
动作描写要具体
动作描写不可少
非同一般的吃饭动作