郭宪

【摘要】 智能体行为演进技术是人工智能方面一个新兴且具有潜力的领域。随着AlphaGo胜利，基于深度增强学习的智能体行为演进技术被大量应用。首先介绍深度增强学习的基本概念及原理，然后介绍当前主流的智能体训练策略，着重分析单智能体提升以及多智能体协作问题的解决方法并对其优缺点进行全面的阐述，最后在深入分析多智能体协作技术目前存在的问题的基础上，对未来发展趋势进行展望。

【关键词】 智能体 行为演进 人工智能 深度增强学习 训练策略

Overview of agent behaviors evolution based on deep reinforcement learning GUO Xian （School of Computer and Information Technology，Beijing Jiaotong University，Beijing 100044）

Abstract： agent behaviors evolution technology is a new and emerging field for artificial intelligence. With the victory of AlphaGo， agent behaviors evolution technology based on deep reinforcement learning has been widely used. Firstly， concepts and principles of deep reinforcement learning were introduced， then the current mainstream training strategies of multi-agent were discussed. This paper analyzed the solution to multi-agent cooperation problem and made an overview about their advantages and disadvantages.Finally， the direction of future work was proposed based on in-depth study of current multi-agent collaboration technology researches.

Key words： multiagent；artificial intelligence； deep reinforcement learning； training strategy； collaborative technology

引言

目前，单智能体的研究已取得了重大的进展，包括下围棋的AlphaGo[1]、打德州扑克的Libratus[2]以及用于医疗诊断的Watson[3]。但是，智能的提升一方面来自个体，另一方面群体交流、协作也是提升智能水平的重要手段；尤其针对人类不擅长的复杂问题，多智能体协作、共同决策可能是个有效途径[4]，在电商、游戏、医疗健康等领域都有广泛应用前景。

如何训练机器人进行相互协作，在对信息进行高效整合利用的同时，对敌对方机器人做出打击和摧毁。在训练中，期望让机器人根据对抗训练的动态反馈，自我生成出一套应对的智能体战术，配合彼此，完成战役设想。

一、深度增强学习

1.1增强学习的基本理念架构

目前，解决智能体行为演进的基本思路是把这一问题作为一个增强学习[5]问题来解决。不同于分类学习根据类别结果评价智能体表现，增强学习利用状态下的环境反馈来改善自己的行为。……