一种基于双DQN的空战干扰样式选择方法
2021-11-30陈泽盛杨承志曹鹏宇邴雨晨
陈泽盛,杨承志,曹鹏宇,邴雨晨,纳 贤
(1.空军航空大学,长春 130022;2.中国人民解放军95510部队,贵阳 550031)
0 引 言
随着机载火控雷达(Airborne Fire Control Radar,AFCR)技术体制的不断发展,其工作状态更加复杂,波形单元更灵活多变,抗干扰能力更强[1],传统的基于人工加载的干扰样式选择方法[2]将失去用武之地。在加载干扰样式正确的情况下干扰机可以产生干扰效果,一旦敌方采取抗干扰措施,我方缺乏先验知识将无法选择合适的干扰样式,作战效能会大打折扣。强化学习由于无需先验知识,且其与环境交互的过程与雷达对抗相似,因此更适用于雷达干扰样式选择。
Q-学习是强化学习中的一种高效的免模型算法。文献[3]设计了基于Q-学习的认知雷达对抗过程,使雷达干扰系统通过自主学习实现高效干扰,但环境雷达的工作状态较少。文献[4]提出了智能雷达对抗(Intelligent Radar Countermeasure,IRC)方法,在工作模式数目未知的情况下通过Q-学习选择最优的干扰路径。文献[5]研究了对多功能雷达(Multifunctional Radar,MFR)的Q-学习认知干扰决策方法,对仿真中各参数对实验的影响进行分析,对比了该方法与其他传统方法的优势。但基于Q-学习的认知干扰决策方法在雷达任务较多的实战条件下决策效率会明显下降,因此文献[6]使用深度Q神经网络(Deep Q Network,DQN)来应对MFR任务较多的问题,但DQN算法存在计算Q值中“过估计”的问题[7]。为此,本文采用Double DQN算法,通过不同的网络执行动作的评估与选择,对这两个部分进行解耦来解决这一问题,对空战中的干扰样式选择进行研究。……
