吴永琢

WU Yong-zhuo

（青岛酒店管理职业技术学院，青岛 266100）

0 引言

在多机器人系统中逐渐采用多智能体技术，例如足球机器人就是其典型。它要求在复杂环境下，实现机器人的控制和相互协作。行为学习能够有效提高机器人的适应能力，传统的方式得到的信号并不理想。决策体系结构是整个系统的关键，本文选择了强化学习算法，同时引入了具有专家经验的模糊推理来弥补Q学习收敛性较差的缺点。通过建立模糊规则库，并且根据状态和动作不断调整Q学习参数，提高决策系统的自适应能力和速度。通过仿真实验，证明模糊Q学习算法的效果。

1 决策结构模型

决策系统通过感知器接收视觉系统收集的赛场的综合信息，并分析信息、建立规则库、Q学习、决定策略，最后将它们发送给通信系统。机器人的决策系统结构如图1所示，包括：模糊化模块、模糊规则库、Q学习单元、行为融合等。它主要负责决策进攻、防守，分析实时的现场环境、对方策略，利用模糊的Q学习算法对决策模块进行优化，然后将指令发送给机器人，控制它们的行动方式是进攻或避障。

图1 决策模型结构图

2 Q学习算法

强化学习是一种机器学习方法，是从环境到行为的映射学习，在机器人、智能控制等领域有许多应用。强化学习通过动作-评价获取知识，不断改进方案来适应周围环境。Q学习算法是强化学习中的一种，它和模型无关。

Q 学习方法的待学习目标函数用Q(s, a)表示，计算公式为：

其中0≤g≤1，r(s, a)表示立即回报，V×(s)是最优策略值。……