付宇鹏，邓向阳，2，朱子强，高 阳，张立民

（1.海军航空大学，山东 烟台 264001；2.清华大学，北京100084）

0 引言

自20 世纪50 年代以来，空战智能博弈一直是军事研究的重点之一。在诸多空战机动策略、姿态控制优化方法研究中，基于人工智能技术的算法取得了长足进步[1-5]。随着计算机硬件算力的提升和算法的进步，深度强化学习（DRL）技术以其优秀的逼近能力成为近年来的研究热点，其在面对复杂状态空间问题时仍能获得高水平策略模型。

传统强化学习算法效率和效果与任务的奖励函数设计密切关联，但空战博弈态势复杂，且六自由度（6-dof）飞机模型具有高阶非线性的特点，因而在训练初期，智能体很难获得正向奖励，致使算法难收敛。模仿学习技术则直接利用专家经验数据生成策略，在自动驾驶、无人机导航控制、机器人等领域被广泛应用[6-9]，主要分为行为克隆[10]、逆强化学习[11]、对抗模仿学习[12]3 类算法。但这些算法中，智能体依靠示例数据学习策略，对于空战博弈这类目标不明确的环境表现不佳。因此，将模仿学习和强化学习相结合的算法成为这类环境中生成智能体策略的研究热点[5，13-15]。

本文基于强化学习、模仿学习技术在飞行控制、智能博弈等方面的研究[2，4-5]，针对传统强化学习算法在生成空战机动策略时存在收敛效率低、专家经验利用不足的问题，提出了生成对抗式近端策略优化算法（GA-PPO）。在传统PPO 算法的策略-价值网络（Actor-Critic）框架基础上，增加判别器（Discriminator）网络，用来判断输入状态-动作是否属于当前策略或专家策略，在策略训练时约束当前策略向专家策略方向更新。……