陈妙云，王 雷，丁治强

(中国科学技术大学信息科技学院，安徽 合肥 230031)

1 引言

多智能体仿真是当前仿真的主流研究方法，应用在军事，交通，社会安全娱乐游戏等广泛领域[1]。在多智能体仿真的过程中，智能体需要对不同场景下的不同事件进行决策，能否合理决策是判断仿真成功与否的重要依据。基于有限状态机的决策模型具有决策过程较为僵化的缺点[2]，而模糊状态机[3]的优点在于随机性较好，但是其场景适应性差。行为树决策模型是当前智能体研究中重要的行为模型，广泛应用于仿真领域[4]。其优点在于提供了丰富的流程控制方法，可以更加直观的看到状态的改变，还具有扩展性好，易于编辑的特点。但目前基于行为树决策模型的多智能体仿真研究还有如下不足：

● 行为树的设计需要对不同的状态进行判断[5]，涉及到大量的条件节点。当人物的行为逻辑较为复杂时，行为树会非常庞大，需要进行大量的调试工作，极大的加大了开发难度；

● 需要对单个物体或人物的行为树进行设计，大大降低了开发效率；

● 不合理的行为树设计会导致仿真时出现异常。

本文通过引入Q-Learning算法来解决行为树的上述不足。Q-Learning具有优秀的自学习和自适应能力[6]，可以用于实现行为树的自动化设计。但是传统的ε贪心Q-learning[7]为了避免陷入局部最优的陷阱，需要对次优的动作进行探索，随着智能体学习经验的不断增加会产生大量的无效计算，存在难以收敛的问题。……