基于改进深度强化学习的三维环境路径规划
2021-01-15谢步庆
计算机应用与软件 2021年1期
封 硕 舒 红 谢步庆
1(长安大学工程机械学院 陕西 西安 710064) 2(长安大学理学院 陕西 西安 710064)
0 引 言
路径规划是移动机器人导航的重要组成部分,目前大多研究成果显示在二维环境下的路径规划比较成熟,但是在三维环境下的路径规划比较薄弱。在三维环境下,会更容易碰到不平坦、多峰谷、多阻碍的地理环境状况,且不停地上下坡会带来更多能量损耗,所以需要找寻一条在最短的基础上,减少爬坡入坑(即减少耗能)的路径[1]。
蚁群算法是一种典型的三维路径规划方法,其信息素具备一定记忆功能是显著优点,但其缺点也很明显[2-3]。首先,它无法彻底解决三维环境路径规划问题,最终找寻的路径还会穿过山或者坑,不符合实际需求;其次,其算法收敛问题并没有得到很好的解决。基于层次包围盒碰撞检测的优化算法[4]是一种针对三维场景的路径规划问题的算法,虽然达到了路径优化的效果,且提高了时间效率,但没有对障碍物进行细化分析,对一些特定场景下的问题解释力有限。粒子群算法也是分析三维环境下的路径规划的传统算法[5],且解决其三维环境路径规划有良好的结果,但是仍然存在陷入极值和没有较好的寻优效率问题。
深度Q学习算法(DQN)是结合了深度学习的感知能力和强化学习的决策能力的人工智能方法。感知能力和决策能力是衡量智能的大指标,强化学习的弱感知能力致使机器人难以直接通过学习高维状态输入去控制输出决策,而深度学习可用网络结构来映射Q表,从而解决Q-learning的维数灾难问题。……
登录APP查看全文
