何斌 刘全,2,3,4 张琳琳 时圣苗 陈红名 闫岩

强化学习是机器学习领域中最接近人类和动物学习的方法[1],在机器人自主决策和学习、复杂动态系统的优化控制和自动驾驶等领域中有着广泛的应用[2−5].强化学习算法分为基于模型和无模型两种.基于模型的算法需要一个精确且完整的环境模型,而无模型算法没有这个要求.无模型的强化学习算法中基于值函数的算法较为常用.该算法需要根据值函数得出最优的策略.如果值函数无法准确地被评估,或者评估的效率过低,那么将得不到最优的策略,或者耗时过长.所以,一个精确和高效的值函数评估方法对于基于值函数的强化学习算法至关重要[6−7].

对于值函数评估问题,经典的解决方法是TD(Temporal difference methods)算法和MC(Monte Carlo methods)算法.其中,TD 算法可以像动态规划(Dynamic program)方法一样使用自举(Bootstrap)的方式,即利用已经评估过的状态值来进行新的评估.这也使得TD 算法可以不需要等待情节结束,就可以进行值函数的更新,从而实现了在线学习的方式.MC 算法必须等到情节结束后才能进行值函数的更新,因而只能使用离线学习(Offline)的方式[1].但是如果TD 算法所利用的评估过的状态值有偏差,那么评估的结果往往在真实值附近.另外,TD 算法的收敛效率很大程度上取决于初值和步长参数的设定.优秀的初值和恰当的步长参数可以极大地缩小所需要策略迭代的次数,但是初值的设定往往需要丰富的经验和相关领域的专业知识.对于……