韩雨琪

（同济大学电子与信息工程学院 上海市 201804）

1 引言

在强化学习中，多智能体协作为解决复杂问题提供了新的思路。通过将困难的任务分解并分发给多个智能体，可以更高效地完成任务。例如，Mahmoud等引入多智能体系统来分析客户的行为并发现他们的偏好， Hajj等利用多智能体系统来检测和避免黑客攻击。

然而，在多智能体系统中，每个智能体在实际环境中观察到的信息可能会失真。如，在传感器网络中，一方面，随着设备的退化，会导致传感器等设备采集到的信息不正确。另一方面，由于带宽和功率的限制，信息的传输可能受到无线通信的干扰。在这种场景下，需要建模真实观测值与失真观测值之间的关系，利用这种关系，智能体可以在带噪环境下做出决策。由此，强化学习引入部分可观测马尔可夫决策过程[3-4]，通过建模环境真实信息（状态值）与环境误差信息（观测值）之间的条件概率，智能体根据观察到的信息而非实际信息进行策略调整。

在多智能体协作的场景下，通过信息共享，可以对一部分智能体获得的信息进行补偿，从而提高强化学习的学习性能增益。然而，现有的研究中极少讨论到信息共享如何影响每个智能体的学习性能。本文首先分析了在观测噪声分布相同的情况下（即同构观测噪声），信息共享对每个智能体策略的影响。然后，我们考虑了每个智能体观测噪声服从不同分布（即异构观测噪声）的场景，在这种场景下，观测噪声较小的智能体可以获得更精确的状态信息。……