融合环境模型与深度强化学习的游戏算法
2018-07-09黄学雨郭勤
黄学雨, 郭勤
(江西理工大学信息工程学院,江西 赣州341000)
0 引 言
近年来,深度学习和强化学习在各自的领域中大放异彩,而随着计算机相关硬件性能的提升,深度学习和强化学习在一些领域更是取得了突破性的进展.如在2015年,微软公司构造了一个拥有152层的深度残差网络,在ImageNet平台上取得了历史最好成绩[1];同年谷歌公司的人工智能研究团队DeepMind在《Nature》发表文章[2]提出了深度Q网络(deep Q-network,DQN),在 Atari游戏平台上取得了巨大的成果:2016年DeepMind使用最新的计算机围棋程序[3]AlphaGo与职业九段棋手Lee Sedol对战,取得了4∶1的成绩;2017年DeepMind团队带着升级版的围棋程序与世界排名第一的棋手柯洁对弈,最终以3∶0取得胜利.
而将深度学习与强化学习结合起来形成的深度强化学习则是当前研究最火热的领域,它拥有深度学习的感知能力与强化学习的决策能力,在很多领域都有广泛的应用,如汽车自动驾驶[4]、自适应规划[5]、多 Agent协作[6]等.
针对深度强化学习在游戏中的应用,前人做了广泛的研究.DeepMind团队的Wang等提出“Dueling Network”,该网络分离了用于表示状态的值函数和与状态相关的动作的优势函数,可以减少对不同动作的估计偏差[7].Hausknecht等提出了基于递归神经网络的架构来处理游戏中的部分可观察性[8].Bowling等为扑克牌游戏提出了使用两个Regret反复自我对局的解决方案.也有一些学者正在研究如何使用一个网络来玩多个游戏[9-10].以上研究都是针对如何提高深度强化学习在游戏上的得分的,却忽略了训练时间过长的问题,因此需要找到一种方法来提高深度强化学习在游戏训练上的速度.……p>
