梁 晨，王卫红，赖 超

(1. 北京航空航天大学自动化科学与电气工程学院，北京 100191；2.中国兵器工业导航与控制技术研究所，北京 100089)

0 引 言

随着现代目标防御系统的不断进步，要求现代导弹不仅能够实现足够小的脱靶量[1]，同时还能在一定的终端角下有效击中目标[2]。故而终端角约束制导律由于其能够绕开部分防御武器，从而被视为提升导弹突防能力的有效方法[3-5]。同时随着更多目标配备近程防御系统，导弹的执行机构更有可能在末段遭遇损伤[6]，故而能够应对执行机构部分失效的制导律被广泛关注，而机器学习方法的最新进展为其提供了新的解决方案。

深度强化学习方法在近年受到极大的关注，并在多种复杂系统的控制中展现了优秀的性能。深度强化学习可以分为无模型方法与基于模型方法两类。基于模型的方法通过构建表征系统状态动力学的深度神经网络来进行控制，而无模型方法不构建类似模型，通过深度神经网络直接作为策略函数或值函数来进行控制。尽管无模型方法在四旋翼控制[7]、多关节机器人控制[8]等中取得了成功应用，但其通常需要与环境进行大量的交互来进行训练。基于模型的深度强化学习方法则通常被认为具有较高的数据效率[9]，从而被应用在很多现实系统中[10]。崛起的深度强化学习方法在制导律领域受到了较高关注，文献[11]使用深度强化学习方法设计了末段制导律，其相比传统基于李雅普诺夫方法设计的制导律展示了更好的性能。……