唐 蕾，刘广钟

上海海事大学 信息工程学院，上海201306

四旋翼无人机因其小巧轻便、可以完成人类不便完成的任务而广受青睐，在工业巡检、抢险救灾、生活辅助等诸多领域大放异彩。但在此发展过程中，四旋翼无人机伤人损物事件逐年增加，甚至影响到空域安全[1]。为此，保证四旋翼无人机具备自主避障能力是一项最基本且重要的功能要求，是实现各项复杂作业任务的前提。

近年来，强化学习飞速发展，在人工智能领域表现突出[2-4]。许多研究人员利用强化学习框架研究智能体的避障、路径规划问题，与人工势场法[5]、可视图法[6]、粒子群优化算法[7]等传统的避障方法相比，强化学习方法在复杂、难度大的环境中更具有优势。相对智能小车、移动机器人而言，四旋翼无人机因运动方向更多，其避障情况更加复杂。国内外学者对其进行了相关研究。Kim等[8]将Q-learning算法[9]用于室内仿真环境中的四旋翼无人机规避障碍物及路径规划问题，实验表明训练后的Q-learning算法在时间上优于A∗算法[10]。Tran等[11]以携带单目前置摄像头的四旋翼无人机为对象，提出一种基于数据集融合的深度强化学习算法，实现了在密集混乱环境中的自主避障。Kahn等[12]提出一种基于不确定感知的深度强化学习方法，通过对碰撞概率的估计，使得四旋翼无人机在面对不熟悉的未知环境中保持“警惕”，降低运行速度，减小碰撞的可能。中科院自动化所的曾毅等[13]提出一种基于前额叶皮层-基底核的强化学习算法，实现了无人机的避障控制。……