一种基于DQN的改进NSGA-II算法∗
2023-08-04吴亚楠
吴亚楠 张 剑
(武汉数字工程研究所 武汉 430205)
1 引言
武器目标分配(Weapon Target Assignment,WTA)问题,又称导弹分配问题(Missile Assignment Prob⁃lem,MAP),起源于20 世纪50 年代[1],是作战指挥控制系统所要解决的重点问题。武器目标分配方案是否实时、准确、有效,将直接影响军事对抗中能否取得更好的作战效能并尽量减少作战资源消耗[2]。
当前,已有多种方法可用于求解WTA 问题。其中,以NSGA-II 算法等为代表的智能优化算法[3~5],以及由这些算法组合而成的混合优化算法[6~8],是目前WTA 问题的主流求解方法。受算法本身原理机制的影响,直接将NSGA-II 算法应用于求解WTA 问题仍然存在无法规避的缺陷,如算法容易陷入局部最优、多样性不足。近年来,强化学习领域发展势头迅猛,有些学者开始思考将强化学习主动探索、不断试错的特性与传统优化算法结合的可能性[9~11]。封硕等[12]提出可采用双种群“迁徙思想”对传统单种群NSGA-II 算法进行改进,引入强化学习Q-learning 算法来对迁徙操作涉及到的相关参数m主动地进行优化,并通过实验验证了该做法可避免传统单种群NSGA-II算法陷入局部最优,解集具有更好的分布性,但其他两项迁徙参数p、q的设置对算法的最终结果同样起着重要的作用。
本文针对多类型反舰导弹攻击舰艇编队的WTA 问题进行研究,首先对数学建模过程进行简要介绍,分析海战场背景下可能影响分配方案结果的多项因素,建立多目标优化数学模型。为有效求解该模型,本文提出了基于深度强化学习的改进NSGA-II算法,采用深度强化学习和双种群“迁徙”思想对传统单种群NSGA-II算法进行改进,通过深度强化学习DQN 算法对迁徙操作涉及到的多个参数进行优化。……
