王国芳,方 舟,李 平

（浙江大学航空航天学院,浙江杭州310027）

基于批量递归最小二乘的自然Actor-Critic算法

王国芳,方 舟,李 平

（浙江大学航空航天学院,浙江杭州310027）

为了减轻Actor-Critic结构中智能体用最小二乘法估计自然梯度时的在线运算负担,提高运算实时性,提出新的学习算法：NAC-BRLS.该算法在Critic中利用批量递归最小二乘法估计自然梯度,根据估计得到的梯度乐观地更新策略.批量递归最小二乘法的引入使得智能体能根据自身运算能力自由调整各批次运算的数据量,即每次策略估计时使用的数据量,在全乐观和部分乐观之间进行权衡,大大提高了NAC-LSTD算法的灵活性.山地车仿真实验表明,与NAC-LSTD算法相比,NAC-BRLS算法在保证一定收敛性能的前提下,能够明显降低智能体的单步平均运算负担.

自然梯度；Actor-Critic；批次更新；递归最小二乘

强化学习（reinforcement learning,RL）是最优控制和人工智能领域倍受关注的方法之一.和常规的监督学习及非监督学习不同,强化学习是将智能体放置于完全未知的环境中,智能体通过与环境相互作用,获得可评估的即时报酬；根据即时报酬来优化自身的行为策略,从而获得能够最大化累积报酬的策略［1］.强化学习最明显的优势在于学习与模型无关并且适用于非线性乃至随机控制问题,近年来,在复杂的智能机器人控制领域已获得了可观的应用成果［2-3］.

就算法结构而言,强化学习方法大体可以分为3类,即Actor-Only、Critic-Only和Actor-Critic（此处Actor表示动作选择即策略,Critic表示策略评估）［3］.Actor-Only结构如REINFORCE法可以处理连续的动作,并且容易证明算法的收敛性,但由于缺乏策略评估过程,得到的策略梯度方差大,收敛速度会较慢［4］；……