相晓嘉，闫超，王菖，尹栋

国防科技大学 智能科学学院，长沙 410073

近年来，随着传感器技术、无线通信技术以及智能控制技术的不断发展与进步，无人机(Unmanned Aerial Vehicle，UAV)在军事和民用领域得到了广泛的应用，并取得了显著的成功[1]。但受限于平台功能少、有效载荷轻、感知范围小等固有缺陷，单架无人机在复杂环境下执行多样化任务仍面临较大困难[2]；而多架无人机组成协同编队能够有效弥补单机性能的不足，大幅提高系统的整体性能，在执行复杂作战任务时有着诸多优势[3]，如区域覆盖范围广、侦查和搜救成功率高等，作战效能远远高于各自为战的无人机。在可以预见的未来，随着战场环境和作战任务的日趋复杂，无人机编队将是执行作战任务的主要载体[4]。因此，无人机编队协调控制技术业已成为无人机系统技术领域的一个研究热点。

国内外学者针对该问题进行了广泛的研究。现有的解决方法，如模型预测控制[5]、一致性理论[6]等通常需要平台和扰动的精确模型进行控制率设计。但是，这一模型通常具有复杂、时变、非线性的特点，加之传感器误差、环境扰动等随机因素的影响，往往难以精确建模[7-8]。这严重限制了传统分析方法的适用范围。作为一种代替方法，应用无模型强化学习方法解决上述矛盾得到了越来越多的关注。

强化学习[9-10](Reinforcement Learning，RL)是机器学习领域的一个重要分支，主要用于解决序贯决策问题。强化学习任务通常可用马尔科夫决策过程(Markov Decision Process，MDP)来描述，其目标是在与环境的交互过程中，根据环境状态、动作和奖励学习一个最佳策略，使智能体(Agent) 选择的动作能够从环境中获取最大的累积奖励。……