陈 鹏,王子磊

(中国科学技术大学 自动化系,合肥 230027)

0 概述

机器博弈[1]又称为计算机博弈,主要研究如何使计算机模拟人类进行游戏对抗,是人工智能领域最具挑战性的研究方向之一。继以围棋[2-4]、五子棋[5]、亚马逊棋[6]、兵棋[7]等棋类游戏为代表的序贯博弈问题得以解决后,以实时策略(Real-Time Strategy,RTS)游戏[8]为代表的同步博弈问题成为机器博弈领域的研究热点,如星际争霸(StarCarft)[9-11]、Dota 2、王者荣耀[12]等。通常,RTS游戏职业玩家或RTS AI 程序(Bot)的操作可划分为宏观操作和微观操作两部分[8],分别称为宏操、微操。宏操侧重于对整个战局的调控,用于保证玩家占有经济和科技优势;微操侧重于遭遇战中作战单元的控制,用于保证玩家占有军事优势。可见,RTS游戏微操是RTS游戏AI研究的基础问题,也是RTS AI Bot的核心模块。

相较于棋类游戏中参与者轮流行动,RTS游戏微操要求参与者同时采取行动,实时性更强,且双方作战单元数目不定,导致动作空间规模随作战单元数量的增加而呈指数级增长。目前,常见的解决思路分为搜索方法和强化学习方法两种,两者相互独立。但在面对大规模战斗场景时,搜索方法存在搜索速率下降和搜索空间有限的问题,难以保证求解的最优性,而强化学习[13-15]方法存在学习困难的问题,且训练好的强化学习模型往往局限于固定的战斗场景。因此,现有方法难以解决大规模战斗场景下的RTS游戏微操问题。

采用深度学习与搜索相结合的思路,可以实现学习模型对搜索方法的合理指导,使得在实时性约束下,尽可能地搜索大概率存在最优解的动作空间,如AlphaGo[3]、AlphaGoZero[4]在围棋上取得的巨大成功,为解决RTS微操问题提供可能。……