喻凯旋，林富生，宋志峰，余联庆

(1.武汉纺织大学机械工程与自动化学院，湖北武汉 430200；2.三维纺织湖北省工程研究中心，湖北武汉 430200；3.湖北省数字化纺织装备重点实验室，湖北武汉 430200)

0 前言

路径规划是当今移动机器人研究的一大热点，同时也是一大难点。路径规划是指在起始点与终点之间寻找出一条合适的无碰撞路径[1]，在移动机器人导航中起到重要作用。随着使用场景逐渐复杂以及安全要求不断提高，如何快速、准确地规划行驶路径是一个难题。传统路径规划算法有快速搜索随机数[2](Rapidly-exploring Random Trees，RRT)、蚁群算法[3](Ant Colony Optimization，ACO)和遗传算法[4](Genetic Algorithm，GA)等。以上算法经多次改进均有广泛应用，但都存在相应缺陷，例如模型建造困难、搜索能力不足、容易陷入局部最优等。

机器学习的相关研究最近突飞猛进，机器人打败人类精英将不再是梦想。针对机器学习的学习能力，许多研究者尝试将机器学习应用到路径规划中。深度强化学习在路径规划上应用最广的是DQN(Deep Q-Network，DQN)[5]算法，它结合了深度学习的感知能力和强化学习的决策能力。DQN使用神经网络代替了Q-learning的Q表，解决了状态过多时Q表的“维度灾难”问题，同时增加了经验回放和目标网络，提高经验利用率的同时改善了数据时序关联的问题，但传统的DQN算法存在过估计、收敛慢、稀疏奖励等问题。

对于深度强化学习算法中的问题，徐志雄等[6]采用目标动态融合机制，将DQN与Sarsa算法融合，提出了DTDQN算法，既提高了训练效率，也缓解了过估计问题。王军等人[7]将后……