APP下载

一种结合演示数据和演化优化的强化学习方法

2014-04-03宋拴俞扬

计算机工程与应用 2014年11期
关键词:动作方法

宋拴,俞扬

SONG Shuan, YU Yang

南京大学 计算机软件新技术国家重点实验室,南京 210023

National Key Laboratory for Novel Software Technology, Nanjing University, Nanjing 210023, China

1 引言

强化学习是机器学习的一个重要研究领域,它要解决的问题可描述为:agent通过与环境交互,根据环境反馈的奖赏值改善自身行为策略,使得长期累积奖赏值最大[1,2]。强化学习算法就是要找到一个策略,它将agent所处状态映射为agent在该状态应采取的动作。

由于强化学习具有自主学习的特点,适用于大空间、复杂非线性问题,已经应用到多个领域[1,3]。例如在自动控制领域,将强化学习算法用于倒立摆问题,取得了优于手动设计传递函数的效果[4]。此外,在服务器调度、电梯调度以及Backgammon游戏等问题上也得到了成功的应用[1,3]。

在强化学习的早期研究中,强化学习多采用试错法[1,2]。在引入MDP理论后,值函数法在强化学习研究中占据了主导地位,并取得了丰硕成果,代表性的算法如 Q学习等[1,2],这类算法通过各种值函数逼近的方法来计算最优策略。随着研究的不断深入,很多新的方法被提出,以解决传统强化学习算法效率低、收敛慢等不足[2]。演化强化学习将演化算法和强化学习相结合,通过演化算法搜索强化学习的最优策略[5]或最优值函数[6],取得了良好的效果。Stanley等人首先将一种称作NEAT[7]的演化神经网络算法用于解决倒立摆问题,演化得到的神经网络用于选择动作,这相当于在策略空间直接搜索最优策略[8]。Shimon Whiteson等人提出的NEAT+Q[6]算法,用神经网络逼近强化学习的值函数,通过演化神经网络搜索最优值函数表示,其实验结果表明NEAT+Q算法的性能远优于Q学习。……

登录APP查看全文

猜你喜欢

动作方法
下一个动作
学习方法
动作描写要具体
让动作“活”起来
动作描写不可少
用对方法才能瘦
四大方法 教你不再“坐以待病”!
赚钱方法
非同一般的吃饭动作
捕鱼