轩书哲，柯良军

(1.机械制造系统工程国家重点实验室,陕西 西安 710049；2. 西安交通大学 自动化科学与工程学院，陕西 西安 710049)

0 引言

无人机集群是一个由多架无人机相互协作、执行共同任务的统一系统。近年来，无人机集群技术得到了极大的发展，在搜索与救援、巡逻与监视、消防与作战等领域得到了广泛应用。相较于单无人机系统，无人机集群拥有更加强大的环境适应能力和更高的控制冗余度，能够协同完成更复杂的任务。

作为一种具有代表性的无人机集群系统，无人机集群攻防对抗系统规模庞大、系统复杂、具有非常高的系统随机性和状态不确定性。无人机集群攻防对抗问题的本质是一种“疆土防御”问题[1]和“追捕逃脱”问题[2]。在该问题中入侵者需要尽可能地接近目标领地，而防御者试图拦截入侵者的入侵。环境中的无人机既要考虑自身个体的自治与发挥，又要考虑无人机之间的交流与合作。在一个连续且动态变化的环境中，如何教会无人机协同工作具有十分重要的研究意义。

现有的无人机集群对抗方法有基于微分博弈的方法、基于专家系统的方法和基于引导率的方法等，这些方法在简单的、小规模静态环境中拥有较好的表现，但无法适用于规模较大的、复杂未知的场景。近年来，随着深度强化学习技术的提出和发展，强化学习被广泛应用于智能体对抗领域，如雅达利游戏和围棋等。与微分博弈、专家系统等传统的集群算法相比，强化学习不依赖于环境模型，主要通过学习奖励函数优化自身的策略，在大规模、复杂的环境中具有更大的优势。……