韩兴豪,曹志敏，刘家祺，李旭辉

(江苏自动化研究所，江苏 连云港 222061)

0 引 言

目前，在军事作战中主要靠指挥员以自己的直觉和经验做出实时决策。然而现代作战态势愈加复杂，场面瞬息万变，独以人力很难在短时间内根据复杂的战场信息完成最优决策。而现有的辅助决策技术效率低，决策质量差强人意，智能辅助决策水平亟待提高。为突破基于流程和规则的分层决策空间和基于决策树的分支推演技术，深度强化学习为现代作战智能决策技术的升级换代提供了强有力的理论与技术支持。

近年来深度网络在各个领域的广泛应用及卓越成效为强化学习的发展提供了又一次机遇，它针对强化学习的价值函数逼近问题提供了有效的解决方案，让强化学习重新焕发了生命力。深度强化学习在很多应用方面经过一系列发展已经可以交出一份让人满意的答卷，比如在Atari环境、三维虚拟环境、机器人控制等领域的应用取得了相当卓越的成果。但这些环境在复杂度上相比一些实际问题仍有着云泥之别。比如在海面作战环境中，就包括数十种作战单位，每种平台对应一种智能体，如何在同一环境下快速有效地学习自主决策是个极大的挑战。

现代全域作战态势复杂度过高，利用深度强化学习为指挥员在作战中提供辅助决策，将指挥员从一部分作战决策中解放出来，使其聚焦于战场调度等更重要的决策，是目前军事智能化的一大前景。……