李岸荞，王志成，古 勇,2，吴 俊,2，朱秋国,2

(1.浙江大学智能系统与控制研究所，杭州 310027； 2.浙江大学工业控制技术国家重点实验室，杭州 310027)

0 引言

相比于轮式机器人，四足机器人在崎岖地面和障碍物较多的环境中有着更好的移动性能。通过落脚点的自由选择，可以让它们在移动时克服与其腿长相当的障碍物。基于这种灵活性，它们可以在楼房和森林中进行搜救任务，在未知地形的隧道中进行勘探，甚至在外星球进行勘察工作。四足机器人的结构形态使得其具有完成人类和四足哺乳动物可以完成的动作的潜力[1]，例如跳远、跳高[2]以及后空翻等。

灵巧运动的实现离不开优秀的控制算法。传统方法主要通过基于模型的控制方法实现这些运动。针对特定的目标运动，采用开环控制方法，通过预先设定各关节位置轨迹，对各关节进行位置控制，从而使机器人完成运动。这种方法可以呈现较好的效果，但是在机器人本体质量发生变化或与地面摩擦系数发生变化时，容易造成运动失效[3]。因此，这种方法在单一环境下表现较好，但当机器人和环境参数改变时，扩展性不强。

强化学习作为一种基于数据驱动的新型控制方法，在四足机器人的控制领域开始崭露头角。在强化学习的框架下，机器人与环境之间不断进行交互，根据用户制定的高层奖励，学习使奖励最大化的动作，省去了对底层控制器进行大量调参的繁重工作。这种方法训练出的神经网络控制器，在每个控制周期内对环境进行观测，并根据观测值决定运动轨迹，因此是一种闭环控制方法。……