马朋委　潘地林

(安徽理工大学计算机科学与工程学院　淮南　232001)



基于启发函数改进的SARSA(λ)算法*

马朋委潘地林

(安徽理工大学计算机科学与工程学院淮南232001)

摘要强化学习是一种重要的机器学习方法,在机器人路径规划,智能控制等许多决策问题中取得了成功的应用,已经成为机器学习研究的一个重要分支。针对强化学习存在着的收敛慢,学习知识慢,探索与利用平衡等问题,论文对SARSA(λ)算法提出了一种改进,改进的方法借助经验知识从环境特征中提出一个用于策略择优和优化回报函数的启发函数,以此来加速算法的收敛速度。通过仿真对比,论文提出改进算法具有比SARSA(λ)更快的奖赏反馈,表明了该算法在知识学习方面的有效性。

关键词强化学习; SARSA(λ); 启发函数; 评估学习

Class NumberTP301.6

1引言

20世纪90年代强化学习通过与运筹学、控制理论的交叉结合,在控制理论和算法方面取得若干突破性的研究成果,奠定了强化学习的理论基础,并在智能控制、机器人系统规及分析预测等序贯决策中取得了成功的应用[1～2]。强化学习是一个试错学习的过程,目的是使Agent从环境中获得的累积奖赏值最大。Agent在环境中执行一个动作,到达下一个状态,同时给予Agent一个强化信号[3](奖励或惩罚),Agent借助环境给予的强化新号来对原有的策略进行改进,最终目的是最大化累积奖赏值。

强化学习大部分都是以马尔科夫决策过程(Markov Decision Process)为基础。马尔科夫决策过程借助四元组(S,A,P,r)来描述。S为环境状态空间,A为动作空间,P(s,a,s′)为状态转移概率,r为立即回报函数。……