周友行，赵晗妘，刘汉江，李昱泽，肖雨琴

湘潭大学 机械工程学院，湖南 湘潭 411105

步态规划是机器人控制领域的研究热点和重要的研究内容。双足机器人结构复杂，其行走过程是由连续的摆腿和离散的碰撞组成，具有众多自由度，难以通过传统控制理论方法建立动力学模型[1]。即便勉强采用此类方法，也会导致双足机器人运动过程消耗大，行走速度低，环境适应性差。实际上相比精准的步态，功能性和抗干扰性更为重要，也能使双足机器人能面对不同环境的需求。

随着信息技术的发展，以强化学习为代表的智能算法以其自适应特性越来越多运用于机器人控制领域[2-3]，但过去强化学习在机器人控制领域的实践都局限于低维的状态空间和动作空间，且一般是离散的情境下。然而现实世界的复杂任务通常有着高维的状态空间和连续的动作空间。2013 年，DeepMind 团队提出了结合深度神经网络和强化学习的DQN算法[4]，解决了高维输入问题。但DQN 仍是一个面向离散控制的算法，对连续动作处理能力不足。在机器人的实际控制中，每个关节的角度输出是连续值，若把每个关节角取值范围离散化，则行为的数量随自由度的数量呈指数增长。若进一步提升这个精度，取值的数量将成倍增长。

为了将DQN 拓展到连续控制领域，众多学者展开了研究，目前来看，顾世翔等提出的NAF[5]和DeepMind提出的DDPG[6]是有效的解决方案，但相比这两种算法，NAF实现起来过于复杂，DDPG则是基于Actor-Critic方法[7]，包含一个策略网络（Actor）用来生成动作，一个价值网络（Critic）用来评判动作的好坏，并吸取DQN 的优秀特性，同样使用了样本经验回放池和固定目标网络[8]。……