邓辅秦，官桧锋，谭朝恩，付兰慧，王宏民，林天麟，张建民*

（1.五邑大学 智能制造学部，广东 江门 529000；2.香港中文大学（深圳）深圳市人工智能与机器人研究院，广东 深圳 518000；3.深圳市杉川机器人有限公司，广东 深圳 518000）

0 引言

随着时代的进步，电商、物流、户外搜索等行业的大力发展越来越离不开多机器人系统，而多机器人路径规划（Multi-Agent Path Finding，MAPF）是多机器人系统的重要组成部分［1］。MAPF 旨在为全部机器人规划出少阻塞甚至无阻塞的一组路径，一些基于图节点结构的搜索方法如A*、基于碰撞的搜索（Conflict Based Search，CBS）、D*Lite 在简单、拥挤程度低的非动态环境具有较高的求解效率［2-6］。然而，在一些特定的场景（如过道拥挤的动态仓储环境、灾后搜索等障碍物无规则分布的复杂环境），上述方法存在两个主要问题：1）机器人难以对周围的动态环境建模；2）机器人因为缺少信息交互而规划出不协调的动作策略。

随着深度学习在图像领域的快速发展，结合深度学习的深度强化学习方法能够使用卷积神经网络（Convolutional Neural Network，CNN）等图像处理技术对动态环境进行图像化建模，此外，基于神经网络支持多维信息输入的特性，设计进行信息交互的神经网络架构，故而在一系列决策任务中获得显著的成功，如游戏领域和多机器人路径规划领域［7-9］。虽然每个机器人能够利用CNN 对其视野进行特征提取，但是该网络缺乏高效的信息传递功能。

有效的沟通是合作成功的关键，近年来，一些方法如VDN（Value-Decomposition Network）［10］、QMIX［11-12］、QTRAN［13］学习每个机器人的独立Q 函数，并使用混合网络将这些局部状态行动值（Q 值）组合成全局状态行动值，进行一定的信息传递实现对动作策略的优化。……