李源潮，陶重犇，2*，王 琛

（1.苏州科技大学 电子与信息工程学院，江苏 苏州 215009；2.清华大学 苏州汽车研究院，江苏 苏州 215134）

0 引言

双足机器人属于仿人机器人。相较于轮式、履带式机器人，双足机器人具有复杂的腿部关节结构，不仅可以获得更高的灵活度与适应性，而且能实现爬楼梯、非平整地面等复杂路面情况下的正常行走［1］。因此获得快速、稳定的步态控制是双足机器人的研究重点［2］。由于非线性和不稳定性因素，双足机器人步态控制系统的设计比较困难［3］。传统基于模型的步态控制已有大量研究［4-7］。针对特定的步态运动，通常采用开环控制方法预先设定各关节的位置轨迹，控制各关节位置，以实现运动。基于零力矩点（Zero Moment Point，ZMP）的方法是双足机器人步态控制的常用方法［8-9］。这些传统的方法依赖于复杂的动力学模型和数学工程，但是在自身和环境变化时，容易造成运动失效［10］。

传统基于模型的步态控制方法很难适应多变的环境。相比之下，由于自适应学习的特性，端到端的深度强化学习（Deep Reinforcement Learning，DRL）算法越来越多地应用于机器人控制领域。端到端DRL 可以不假设任何步态或机器人动力学的先验知识，应用于机器人系统［11］。如果成功应用，DRL 可以自动完成对控制器的设计。而基于模型的方法由于环境动力学模型复杂，无法得到准确的模型，给智能体训练产生了误差。无模型的方法无需构建环境模型，智能体直接与环境交互，它的策略更准确，对环境的适应性更好［12］。

本文提出一种基于最大熵深度强化学习方法对双足机器人的步态控制方法，采用最大熵框架，可以让策略尽可能随机。……