杨 霄，李晓婷，赵彦东，张亚星

（1.北方自动控制技术研究所，太原 030006；2.中国科学院自动化研究所融合创新中心，北京 100190）

0 引言

现代无人机空战朝着信息化、综合化、智能化方向发展，实时提供的战场信息爆炸性增加，决策过程和决策复杂程度日益增加。无人机战术自主决策能力较弱，为了更好地处理分布式多源情报信息，完成空战对抗时战术自主决策，对智能化的无人机空战对抗自主决策系统的需求日益突出，亟需研究新技术，以使无人机空战对抗决策变得更加“智能化、自主化”［1］。

空战决策（Air Combat Decision，ACD）一直是研究热点。由于空战过程中敌我双方态势动态变化，且有很多难以确定的其他因素，使得空战决策研究困难重重。左家亮等［2］针对空战决策序列的实时动态性，提出了基于启发式强化学习的空战机动智能决策方法；邓可等［3］针对无人机空战决策的实时性，提出遗传算法与矩阵对策法相结合的混合决策算法；王晓光等［4］针对无人机空战格斗，将微分对策与机器博弈论结合，使空战决策更合理、智能。

无人机空战对抗是一个实时的博弈过程，博弈时，敌我双方通过采用自己的策略达到利益的最大化或者惩罚最小化。本文提出结合微分对策的深度强化学习方法，有效提高无人机空战决策对于实时性的要求，实现快速决策。

1 无人机空战态势建模

无人机作战作为一种未来的新作战模式，目前还处于研究状态，本文重点考虑战术决策过程。本文敌我双方的无人机均采用固定翼、带有弹载荷的无人机，考虑到无人机空战主要对抗要素，主要对无人机、无人机机载雷达探测范围、机载导弹杀伤范围进行建模。……