文永明，石晓荣，黄雪梅，余 跃

(北京控制与电子技术研究所，北京100038)

0 引 言

随着集群技术和人工智能的发展，基于群体智能的集群协同技术逐渐发展为未来智能化战争的发展方向[1-3]。无人机集群利用低成本、大规模和分布式的优势，协同侦查作战可以体现出显著的灵活性和智能性。无人机集群协同侦查在线决策主要包括协同目标分配和突防轨迹规划等多个相互耦合的任务，无人机集群需要根据战场态势和作战任务决策出每架无人机的侦查目标和突防轨迹，以最大化集群对抗效能。随着对抗环境愈加复杂动态，对抗手段愈加多样智能，无人机集群对抗在线决策存在耦合任务多、决策空间大和场景不确定难题，导致传统基于专家知识和现代优化算法的决策方法难以同时满足在线决策的实时性、最优性和泛化性。

随着人工智能技术的发展与突破[4]，尤其是深度强化学习在智能决策等方面得到了广泛关注与研究[5-7]。深度强化学习是深度学习和强化学习的有机结合，深度学习善于拟合，可通过深层神经网络表征复杂空间的非线性和泛化性，强化学习善于决策，可通过迭代学习使累计奖励最大化来获得高性能策略。深度强化学习基于大量离线训练得到智能策略网络，进行快速在线决策，可弥补无人机集群对抗程序化策略带来的局限性，提升应对复杂飞行环境和突发事件的适应能力[8]。

在深度强化学习架构方面，当决策问题由单个任务或少数简单任务构成时，通常采用集中式深度强化学习架构来解决。……