郝少璞 刘 全,2,3,4 徐平安 张立华 黄志刚

1 （苏州大学计算机科学与技术学院 江苏 苏州 215006）

2 （软件新技术与产业化协同创新中心（南京大学）南京 210023）

3 （符号计算与知识工程教育部重点实验室（吉林大学）长春 130012）

4 （江苏省计算机信息处理技术重点实验室（苏州大学）江苏 苏州 215006）

模仿学习[1-2]（imitation learning，IL）在不显式设计强化学习奖赏信号的情况下，从专家样本中模仿专家策略.近年来模仿学习已经成功应用于自动驾驶、机器控制和自然语言处理等领域，并成为人工智能领域研究的热点之一.模仿学习方法包含行为克隆方法[3]和逆向强化学习[4-5]（inverse reinforcement learning，IRL）方法.

行为克隆方法无需设定奖赏函数，使用经典的监督学习方法建立从状态到动作的映射函数，不需要与环境交互即可学习专家策略.由于行为克隆方法难以准确表征复杂状态—动作空间中的映射关系，导致其在复杂连续状态空间任务中表现不佳.逆向强化学习方法从专家样本中学习奖赏函数，构建马尔可夫决策过程，并利用强化学习方法学习专家策略.与行为克隆方法相比，逆向强化学习方法中不存在复合误差问题，且具有较好的鲁棒性与泛化性.

Ho 等人[6]将生成对抗网络[7]（generative adversarial network，GAN）中的极小极大博弈思想应用到模仿学习中，提出了生成对抗模仿学习（generative adversarial imitation learning，GAIL）方法.GAIL 从占有率度量的角度出发，以最大因果熵为正则化项，通过极小极大博弈的方式，解决模仿学习问题.与传统逆向强化学习方法相比，GAIL 在解决大规模的模仿学习问题时……