王科银，石 振，杨正才，杨亚会，王思山

1.湖北汽车工业学院 汽车工程学院，湖北 十堰442002

2.汽车动力传动与电子控制湖北省重点实验室（湖北汽车工业学院），湖北 十堰442002

3.湖北汽车工业学院 汽车工程师学院，湖北 十堰442002

随着科技的发展，移动机器人越来越多地走进人们的日常生活。移动机器人的路径规划问题也越来越受到重视。路径规划技术能够在参照某一指标的条件下，帮助机器人避开障碍物规划出一条从起点到目标点的最优运动路线。根据路径规划过程中对环境知识的已知程度，路径规划可以分为全局路径规划和局部路径规划[1-2]。其中应用较为广泛的全局路径规划算法有A*算法[3]、dijkstra算法[4]、可视图法[5]、自由空间法[6]等；局部路径规划算法有人工势场算法[7]、遗传算法[8]、神经网络算法[9]、强化学习算法[10]等。强化学习算法是一种适应性比较强的算法，可以在完全未知的环境中通过不断试错寻找最优路径，这也使得强化学习算法在移动机器人路径规划领域获得越来越多的关注。

在移动机器人路径规划领域应用最为广泛的强化学习算法是Q-learning算法。传统的Q-learning算法存在以下问题：（1）在初始化的过程中将所有的Q值设置成0或者是随机值，这使得智能体在起始阶段只能是盲目搜索，导致算法出现过多的无效迭代；（2）在动作选择时采用ε-贪婪策略，太大的ε值会使智能体更多地探索环境不容易收敛，太小ε值会导致智能体对环境探索不够而找到次优解，难以平衡探索和利用之间的关系[11]。……