张宏宏 甘旭升 毛亿 杨春林 谢晓伟

摘 要：随着低空空域改革的推进， 无人机离开隔离空域， 进入低空融合空域执行多样化任务已成为发展趋势， 而低空动态复杂融合空域给无人机造成严重威胁， 避障技术已成为无人机任务决策系统的关键环节， 对保障无人机安全运行、 提高作业效率起到重要作用。 本文首先对无人机避障的相关概念、 路径评价指标以及避障关键技术进行阐述， 然后对基于优化、 势场和机器学习的避障算法进行概念阐述、 优缺点比较， 最后分析得出了制约无人机避障发展的挑战、 研究重点和方向。

关键词： 无人机; 避障; 优化; 势场; 机器学习; 人工智能; 自主控制

中图分类号：    V279; V249; TP18  文献标识码：    A文章编号： 1673-5048（2021）05-0053-11

0 引  言

随着航空技术与自动化技术的不断发展， 无人机凭借其机动性强、 成本低、 操作方便等特点， 在军事、 农业、 交通、 公共管理等领域获得广泛应用。 根据前瞻产业研究院发布的《2018-2023年中国无人机行业市场需求预测及投资战略规划分析报告》预测， 我国民用无人机产品销售和服务总体市场规模到2025年将达到750亿元。 2016年， 国务院办公厅在《关于促进通用航空业发展的指导意见》中提出扩大低空空域开放， 低空空域管理改革实现军民融合[1]。 2018年， 国家空管委办公室发布《无人驾驶航空器飞行管理暂行条例（征求意见稿）》[2]， 无人机低空运行成为当前低空空域改革的重点。 随着改革的推进， 无人机由视距内人工遥控器操作发展为超视距远程网络操作， 从而进入融合空域执行多样化任务已成为当前趋势[3]， 而制约无人机发挥更大效能的关键在于其是否具有可靠的避障能力。

1 无人机避障相关概念

低空融合空域内， 执行特定任务的无人机与静态建筑、 树木障碍物、 动态飞行器等共享同一空域， 当空域内流量过大时， 极易发生危险接近甚至空中撞击事件， 带来了安全隐患。 飞行冲突是指两架航空器在横向、 纵向或垂直方向上距离小于特定间隔， 使得航空器受到安全威胁的状态[4]。 无人机避障是通过研究航空器在未来一段时间内是否存在潜在冲突， 通过改变无人机运行状态， 规划出避免冲突的理想轨迹， 达到规避障碍物的过程， 目的是保证空域内无人机与障碍物保持一定的安全距离[5]。 避障策略是无人机用于解决冲突的一系列动作， 基本动作包括变速（加速或减速）、 水平动作（左转或右转）和垂直动作（爬升或下降）。 简单冲突场景时， 一个简单的基本操作就可以避免碰撞， 但面对高密度、 高不确定性的复杂冲突环境时， 需要结合基本动作， 同时或依次进行操作， 才能保证避障的有效性与最优性。

由于无人机具有高机动性、 自身性能约束等特点， 因此在避障过程中需要考虑一系列条件：

（1） 安全约束： 安全运行是无人机运行的关键指标之一， 指无人机与其他航空器的距离在任意时刻下都保持一定的安全间隔。

（2） 解脱实时性： 与中高空空域相比， 低空空域环境更加复杂， 执行任务的飞行器种类更加多样， 路径更加不规则， 冲突概率相应增大， 因此， 无人机避障策略计算时间要尽可能小， 满足实时性约束， 以此来应对具有高不确定的障碍物。

（3） 物理性能约束： 无人机的最大航程、 最小航段、 最小转向速度、 飞行速度、 运行高度、 过载等物理量受到自身动力学性能约束， 因此， 在避障过程中必须考虑相关约束条件， 生成满足动力学性能约束的安全路径。

（4） 执行任务： 无人机在避障过程中， 往往会偏离原路径， 影响任务执行效率， 因此， 在无人机冲突消解后， 需要考虑航迹恢复问题， 降低规避策略对无人机执行任务的影响。

（5） 空间约束： 低空混合空域具有一定的空间限制， 包括禁飞区、 危险区等严禁无人机进入的空域， 同时复杂融合空域内运行的无人机需要考虑地理威胁因素， 包括建筑、 山体等障碍物对运行轨迹的影响， 因此， 在解脱路径生成时需要考虑空间约束条件。

另外， 无人机属性、 性能差异等因素也应予以考虑。

融合空域执行任务的无人机系统应具备一定的规避障碍物的能力， 如图1所示， 在外部环境约束、 任务目标和机动性能的约束下， 地面/机载处理器需要实时生成避障策略， 并传送给无人机飞行控制器， 通过动力单元模块实现冲突消解。

无人机避障问题的核心在于计算得到冲突解脱路径， 因此， 求解获取路径的优劣需要建立相应指标进行评价， 一般包括解脱路径质量与算法性能两部分， 具体指标如图2所示。

作为无人机自主控制能力的关键技术之一， 避障技术受到国内外学者的关注。 从智能控制的角度来看， 无人机是一个集综合环境感知层、 决策控制层与操作执行层为一体的智能控制系统， 同时， 无人机还是一个高度智能化的系统， 其自主性、 适应性与交互性的特征需要综合多学科知识进行技术实现。 由于运行环境的高复杂性与不确定性， 无人机避障规划研究的关键技术主要包括信息感知、 智能决策、 路径规划与运动控制等方面。

（1） 信息感知技术。 无人机要达到避障控制的目标， 首要考虑的问题就是获取自身状态信息及其周围环境信息以指导下一步决策， 这些信息需要通过信息感知系统进行获取， 因此， 如何获取相关信息成为无人机避障的关键技术之一。

（2） 智能决策技术。 无人机需要通过感知的自身状态信息与环境信息进行自主决策判断， 确定合适的运行模式， 并作出相應的机动决策策略。

（3） 路径规划技术。 无人机避障路径规划是根据智能决策给出的避障任务与实时环境变化， 为无人机提供可机动策略空间与运行引导的过程。 路径规划可分为全局规划与局部规划， 是无人机避障关键技术之一。

（4） 运动控制技术。 运动控制技术是根据当前无人机自身状态以及规划出的避障路径， 生成控制指令， 控制无人机精确、 快速跟踪规划出的路径， 主要包括调向、 调速、 调高等控制动作， 是无人机避障关键技术之一。

2 无人机避障方法

运行中的无人机一旦检测到飞行冲突， 立即解算避障路径， 并驱动机体按照安全路径运行。 当前避障技术主要分为三类： 基于优化、 势场和机器学习的避障方法。

2.1 基于优化的避障方法

基于优化的避障方法思想源于最优控制[6]， 是根据已建立的无人机时域数学模型或频域数学模型， 选择一个容许的控制律， 使无人机按照约束的条件运行， 并使某一性能指标达到最优的过程。 其特点在于从整个冲突态势的演绎全局来考虑问题， 可用各类数值计算与现代优化方法求解规避障碍的路径。

2.1.1 数学优化算法

针对已建立的无人机避障模型， 可利用各类数学优化算法将最优控制问题转化为便于求解的模型， 从而生成解脱路径。

（1） 非线性优化方法

性能指标或约束条件中包含非线性函数的问题称为非线性优化问题， 当前用于无人机避障的非线性优化方法有梯度下降法、 二次规划法、 凸优化法等。 陈伟锋等[7]将避障问题转化为最优控制命题形式， 提出一种基于析取关系直接变换的动态联立求解方法， 并用Radau配置点的拉格朗日插值对最优控制模型进行离散化处理， 并通过对比验证了方法的有效性。 付其喜等[8]将无人机额外飞行距离作为优化函数， 首先基于随机并行梯度下降法（Stochastic Parallel Gradient Descent，  SPGD）对初始解脱可行解进行计算， 再利用序列二次规划（Sequential Quadratic Programming，  SQP）求解最優解脱航向。 王祝等[9]将无人机避障非凸问题转化成一系列近似凸优化子问题， 利用凸优化法进行求解， 得到兼具时效性与最优性的解脱路径。

（2） 混合整数线性/非线性规划（Mixed Integer Linear/Nonlinear Programming，  MILP/ MINLP）

混合整数线性规划方法是用整数约束无人机的控制指令（速度、 航向）， 进而通过线性规划的方法对最优航路进行计算。 Radmanesh等[10] 提出一种有限范围内的动态混合整数线性规划算法， 降低了航路规划计算量。 Turnbull等[11]提出基于MILP-MPC的避撞航路规划算法， 对语言决策树进行训练， 训练后的模型被用于实时航路规划。 Sarim等[12]在粗略航路规划的前提下， 利用MILP对航路进行精细处理， 生成最优避障路径。 Alonso-Ayuso等[13]利用多次滚动时域方法将消解问题转化为混合整数非线性规划问题， 并进一步线性化为MILP模型， 实现速度调整进行避障。 张启钱等[14]基于序列混合整数线性规划， 提出同时可以选择调速、 调向与调高的序列混合整数线性优化（Sequential Mixed Integer Linear Optimization-Velocity Change，  Turn Change and Altitude Change，  SMILO-VTAC）模型， 解决了复杂低空多机冲突解脱问题。 采俊玲等[15]采用航向-速度解脱策略结合的混合整数非线性规划（MINLP）模型， 实现空域内航空器的避障。

（3） 动态规划法（Dynamic Programming，  DP）

动态规划的核心是基于贝尔曼最优性原理， 根据基本递推关系式， 不断转移决策过程， 将最优化问题转化为多步决策问题。 Denton等[16]将动态规划与树形搜索结合， 计算出三维最优地形回避航路。 Sunberg等[17]将多无人机冲突消解问题转化为近似动态规划问题进行求解。 Bousson[18]利用单网格点动态规划， 对飞行器避撞问题进行最优化求解。

基于数学优化方法的避障路径求解模型较为直观， 易于理解， 但当约束条件较为复杂时， 求解难度增大， 计算量增加， 不能满足实时性要求。 常见的基于数学优化方法的避障算法适用场景与优缺点如表1所示。

2.1.2 启发式算法

启发式算法是在可接受的计算成本下， 对近似最优解进行搜索的优化算法， 在基于路径规划的避障领域应用广泛， 主要有群智能算法、 A*、 D*等。

智能算法是基于仿生学计算原理， 模拟群体生物行为协同搜索空间最优解的过程。 对于高纬度、 非线性、 多约束的最优化问题， 往往能够收敛到最优值。 在无人机路径规划中应用广泛， 同时也相应解决了无人机避障问题。 常用算法有粒子群算法、 遗传算法、 蚁群算法、 人工蜂群算法、 布谷鸟算法等。

（1） 粒子群算法（Particle Swarm Optimization，  PSO）

粒子群算法是模拟自然界中鸟群觅食现象， 通过种群迭代更新粒子位置和速度进行搜索空间最优解[19]。 Tang等[20]将多智能粒子滤波器用在未知环境路径规划求解上， 降低了计算量。 Zhuang等[21]将PSO与勒让德伪谱法结合， 寻找更适合无人机运行的轨迹。 Yan等[22]将PSO与路径点制导算法结合， 生成低功耗、 更平滑的避撞路径。 Lim等[23]将PSO与量子物理结合， 提出量子-粒子群优化算法（Quantum Behavior Particle Swarm Optimization，  QPSO）生成光滑的无人机可飞路径， 同时降低计算量、 提升效率。

（2） 遗传算法（Genetic Algorithm，  GA）

遗传算法是模拟自然界遗传机理以及生物进化过程， 通过基因的选择、 交叉、 变异等操作， 实现对最优值的搜索[24]。 余文曌等[25]将GA与弹性网络结合， 降低搜索空间， 提高搜索效率。 Yan等[26]对GA模型进行改进， 可以生成满足航空器性能约束的解脱路径， 降低运行能耗。 何光勤等[27]将GA應用在三维空间内的避障， 将惩罚函数代入性能指标中， 求解出的解脱路径光滑性较好， 适合航空器运行。

（3） 蚁群算法（Ant Colony Optimization，  ACO）

蚁群算法是模拟自然界中蚂蚁觅食的生物行为而提出来的一种最优化搜索算法， 具有并行计算、 鲁棒性好的特点， 在无人机避障领域应用广泛[28]。 Wu等[29]将回退、 死亡两种策略加入到ACO中， 促使蚂蚁以更大概率达到最优目标位置， 优化了算法搜索能力。 Jiao等[30]提出了基于自适应状态转移策略和自适应信息素更新策略的改进ACO算法， 强化信息素强度、 启发信息对算法迭代优化过程的重要作用， 提高了算法全局寻优性。 Luo等[31]提出将信息素的优劣区分开， 除去正常的信息素更新迭代， 额外强化效果好的信息素， 对提升算法收敛性起到一定作用。 张宏宏[28]等基于分割法， 以时间换取空间， 提高了蚁群算法的搜索能力。

（4） 人工蜂群算法（Artificial Bee Colony Algorithm，  ABC）

人工蜂群算法是模拟蜜蜂行为而提出的一种优化算法。 Kang等[32]在蜂群采蜜阶段加入Rosenbrock旋转方向法， 避免了算法早熟收敛， 准备率也有一定提升。 王渊等[33]在传统ABC算法的基础上， 改进了跟随蜂对雇佣蜂的选择概率， 用最优解引导迭代方向， 保证算法跳出局部最优解。 Contreras-Cruz M A等[34]将ABC算法与进化算法结合， 先由ABC算法进行局部搜索， 再由进化算法得出最优解脱路径。 Li等[35]将平衡性策略应用到传统ABC算法中， 在局部与全局之间实现平衡。

此外， 还有一些智能算法被用在无人机路径规划上， 实现避障， 如布谷鸟算法（Cuckoo Search，  CS）[36]、 鲸鱼优化算法（Whale Optimization Algorithm，  WOA）[37]、 蚁狮算法（Ant Lion Optimizer，  ALO）[38]、 鸽群算法（Pigeon-Inspired Optimization，  PIO）[39]、 萤火虫算法（Firefly Algorithm，  FA）[40]、 乌贼算法[41]等。

（5）A*/D*算法

A*算法是一种图搜索算法， 将启发信息因素引入待求解问题目标信息中， 使得搜索方向更加精准， 降低收敛时间。 A*算法支付代价为 f（n）=g（n）+h（n） ， 其中 g（n） 表示航路代价，  h（n） 表示预测代价。 在搜索过程中， 将支付代价最小的节点插入路径链表中， 完成对障碍物的规避。 马云红等[42]采用变步长策略， 提高A*算法搜索效率， 同时生成一系列满足UAV俯仰角、 偏航角等物理性能约束的可飞航线。 祁玄玄等[43]从目标性扩展、 目标可见性判断、 更换启发函数、 改变扩展节点选择策略四个方面对A*算法进行改进， 提高了算法的收敛效率， 优化了路径长度。 宋雪倩等[44]将Dubins结合A*算法， 使用“向量共享”原理， 对解脱航向改变量进行计算， 并进行路径重规划， 可在短时间内获取连续飞行安全路径。

针对复杂环境动态变化的问题， 传统A*算法难以应用， 因此一些学者在A*算法的基础上进行改进， 典型的改进算法有D*算法。 Ganapathy等[45]提出Enhanced D* Lite算法， 解决了穿越尖角障碍物产生的不安全路径问题。 Stentz[46]提出分批次局部更新航迹代价图的D*算法， 有效解决避障问题。 常见的基于启发式典型算法的避障算法的适用场景与优缺点如表2所示。

2.1.3 图  论

基于图形的避障方法， 首先通过栅格化方法， 对环境进行建模， 再利用搜索算法生成避障路径， 完成全局冲突解脱， 常用方法有Dijkstra算法、 Voronoi图、 随机路标图法（Probabilistic Roadmap，  PRM）、 Dubins 曲线、 轮廓图法（Silhouette）、 通视图法（Visibility Graph）等。

Dijkstra算法是图论中经典最短路径求法， 顶点代表航路点， 边代表可行路径， 适用于边权非负的二维静态避障场景。 使用该算法的关键在于选取有效航迹点， 缩短规划时间[47-48]。 Voronoi图根据障碍物分布情况， 画出相邻障碍物中垂线， 构成围绕障碍物的多边形， 再对每条路径进行赋权值， 最优搜索出代价最小的避障航路。 由于Voronoi图能够在飞行过程中有效降低支付代价， 在无人机避障领域应用广泛[49-50]。 Dubins 曲线考虑无人机转弯性能约束， 生成一条可飞的无人机解脱路径[51-53]。 在复杂低空空域中， 搜索具有多个自由度的高维避障路径的规划问题往往代价较高， 因此， 可以放松一下弱约束条件， 寻求一种折中的搜索空间， 既能代表完备的环境信息， 又能有效提高搜索速度。 随机路标图法（Probabilistic Roadmap，  PRM）基于这一原则， 对无人机解脱空间进行搜索[54-55]。 常见的基于图论的避障算法的适用场景与优缺点如表3所示。

2.2 基于势场和导航函数的避障方法

基于势场的避障方法在空域内构造虚拟势场， 生成导航函数， 将航空器的运动规律转化为物体间力的作用结果， 是一种广泛应用的避障方式， 具有数学描述结构简单、 美观， 规划算法快等特点， 常见的算法有人工势场法、 速度障碍法、 流函数法等。

2.2.1 人工势场法

人工势场法的基本思想是将复杂障碍环境转化为一个势场， 障碍物产生的斥力Frep与目标点产生的引力Fatt共同作用在无人机， 合力Ftotal控制无人机运动状态， 达到局部避撞的效果， 如图3所示。 管祥民等[56]结合蚁群算法与APF的优点， 提出改进混合避障方法， 得出时效性与飞行更好的解脱路径。 Yang等[57]提出了一种回归搜索法， 用来改进势场函数， 避免了陷入局部极小点的缺陷。 韩知玖等[58]提出改进APF算法， 可在航空器动力学约束的条件下， 生成路径短、 平滑的最优路径。

2.2.2 速度障碍法

速度障碍法（Velocity Obstacle，  VO）是通过分析无人机与动态障碍物之间的空间几何关系， 计算避障所需的速度与航向。 如图4所示， 无人机与动态障碍物的速度分别为v1， v2， 速度障碍法将相对速度vR=v1-v2作为研究对象， 将位置障碍转化为速度障碍。 若相对速度vR落在障碍锥中， 则存在冲突， 否则不存在。 无人机通过调整自身航向、 速度， 使得相对速度落在障碍锥之外， 实现冲突解脱。

张宏宏等[59]等基于速度障碍法， 对无人机避障应调航向与速度进行严格的理论推导， 实现不同冲突场景下无人机自主选择解脱策略实现避障。 Durand等[60]在速度障碍法的基础上， 提出最优互惠避碰（ORCA）算法， 使之适用于速度受限的飞机。 Bareiss等[61]对最优互惠避碰（ORCA）模型进行分析， 将所有基于速度障碍理论的避障策略归纳为泛速度障碍模型。 杨秀霞等[62]利用空间速度障碍球冠模型， 将三维空间内的障碍映射到二维平面， 给出无人机避障的最优航向决策， 具有一定的可行性与有效性。

2.2.3 流函数法（Stream Function， SF）

流函数法是将流体计算与规避障碍物相结合， 通过模拟自然界流水避石， 从起始点流向终点的现象而提出的避障方法， 因其可以快速生成光滑避碰路径而受到学者关注， 如图5所示。 梁宵等[63]采用旋转评议矩阵与流线数据叠加模型， 解决了多障碍物任意位置存在的避障问题。 Daily等[64]通过对不同障碍物流函数进行加权求和处理， 解决了多障碍物重叠时的避障问题。 王宏伦等[65]提出虚拟动态目标方法， 将无人机所受的性能约束转化为虚拟障碍， 能在复杂环境下规划出可飞的解脱航路。

常见的基于势场和导航函数的避障算法适用场景与优缺点如表4所示。

2.3 基于機器学习的避障方法

机器学习算法是将无人机避障问题转化为一个决策问题， 通过与复杂动态环境的信息反复交互， 选择最优或近最优策略， 以实现其长期目标。 随着智能化水平的不断提升， 机器学习算法在无人机避障领域得到广泛应用， 常见方法有神经网络、 强化学习与深度强化学习。

2.3.1 神经网络

无人机避障导航控制是根据传感器获取的信息， 快速得到无人机应采取的动作， 其本质是获取状态空间与动作空间的映射关系[66]。 映射关系往往难以用精确的数学表示， 而神经网络是由大量非线性单元连接构成的非线性复杂网络结构， 通过对人脑功能的控制与反馈功能进行模拟， 形成的非线性映射系统[67]。 神经网络凭借其强大的学习与泛化能力、 非线性映射能力以及快速规划能力， 在机器人动力学以及导航控制领域得到广泛应用。

国内外学者结合神经网络的特点， 对无人机路径规划、 制导与避障控制进行了大量研究。 王延祥等[68]提出扰动流体动态系统与神经网络结合的自适应避障路径生成算法， 能够适应环境的复杂性， 且具有较高的鲁棒性。 Zhang等[69]基于神经网络模型， 不断对无人机进行离线训练， 找到符合约束条件的解脱路径。 Choi等[70]采用机器学习框架， 提出了一种无人机双层避障算法， 使得无人机以最小的支付代价避障多个障碍物， 得到满足实时性和有效性的避障决策。

单一神经网络未能考虑训练与决策过程中的不确定性， 因此有学者将模糊逻辑理论与神经网络相结合， 用隶属度代替不确定性的指标， 更符合实际情况， 具有较强的自学习与自适应能力[71-72]， 以适应环境变化。

2.3.2 强化学习

强化学习是将动态规划与监督学习相结合的一种新型学习方法， 强调在于环境的交互中不断学习， 执行“尝试-失败”机制， 通过反馈的评价， 实现输出最优决策， 在无人机复杂避障决策问题得到应用。 这种学习理念能够通过奖励指标最大化， 使得系统做出一系列决策， 而不需要人工干预， 流程图如图6所示。 2005年，  Michels J等[73]将强化学习应用在避障系统中， 通过训练模型预测合适的避障策略。 Xie等[74]基于Double DQN 算法， 实现了室内场景自主避障。 Vamvoudakis等[75]也将强化学习应用在智能体避障领域， 但实验表明样本特征质量的选择影响避障效果。 邹启杰等[76]提出强化学习驱动快速探索随机数的RL-RRT方法， 加快搜索速度， 实现解脱路径多目标决策优化。 Kulkarni等[77]基于目标驱动内在动机的深度学习方法， 在实时环境中学习导向行为， 以提高复杂环境内收敛速度。

目前， 强化学习在无人机避障领域已取得不错的进展， 只需对环境样本进行训练， 便可得到避障模型， 同时具有规划速度快的特点， 但是， 当运行场景发生变化时， 往往需要重新对模型进行训练， 代价相对较高。

2.3.3 深度强化学习

深度强化学习（Deep Reinforcement Learning，  DRL）是将强化学习与深度学习相结合， 通过强化学习与环境探索得到优化目标， 通过深度学习获取系统运行机制， 用于表征和解决问题[78]。 作为机器学习中的研究热点， 该方法凭借深度学习的感知能力， 即使针对高维原始数据输入， 也能获取有效的控制决策。 基于深度强化学习的系统避障控制模型如图7所示， 可分为基于值函数和基于策略梯度的深度强化学习算法。

（1） 基于值函数的深度强化学习算法

DQN（Deep Q-Learning）算法由DeepMind公司在NIPS2013上提出， 后于2015年在Nature上提出改进版本[79]。 其核心思想是用神经网络来表征函数或者参数化动作策略， 基于梯度对损失函数进行优化， 实现了“感知-动作”的学习算法。 Lü等[80]提出了一种改进的学习策略， 该策略基于不同学习阶段对经验深度和广度的不同需求， 其中DQN计算Q值， 采用密集网络框架。 在学习的初始阶段， 创建一个经验价值评价网络， 增加深度经验的比例， 以更快地理解环境规则。 当发生路径漫游现象时， 采用平行探索结构， 考虑漫游点等点的探索， 提高了经验池的广度。 刘庆杰等[81]采用改进DQN算法克服了Q-learning表格式算法在连续状态下导致内存不足的局限性。 通过改进奖励机制， 增加实时奖惩作为补充， 解决学习耗时长和训练不稳定的问题。

DQN在无人机避障控制领域取得不错效果， 但其动作空间是离散形式的， 不能实现连续的路径生成。

（2） 基于策略梯度的深度强化学习算法

为实现连续的状态空间和动作空间， 梯度策略直接利用梯度参数优化策略， 不计算执行策略获取的累计奖励值， 输出完整动作策略， 而不是输出状态动作值函数。 最先广泛应用的是随机策略搜索法中的区域信赖策略优化算法（Trust Region Policy Optimization，  TRPO）。 该算法由Schulman等[82]提出， 通过进行数据新旧策略分布评估， 应用于无人机导航控制领域。 此外， 深度确定性策略梯度算法（Deep Deterministic Policy Gradient，  DDPG）[83]、 引导性策略梯度算法（Guided Policy Search，  GPS）[84-85]和分布式近似策略优化算法（Distributed Proximal Policy Optimization，  DPPO）[86]等算法， 也在逐步应用于无人机避障控制中。

但基于策略梯度的深度强化学习算法存在收敛难度大的问题， 具体在复杂障碍场景下的样机试验还需进一步研究。

3 无人机避障研技术的挑战和研究方向

随着低空空域改革的推进以及人工智能、 信息技术的革新， 无人机相关新理论与新成果不断涌现， 其未来发展空间必将更加广阔。

从无人机避障研究现状以及未来发展趋势来看， 当前挑战主要集中在：

（1） 无人机动力学建模问题。 避障过程中， 多是将无人机简化成三自由度的质点， 忽略偏转角、 俯仰角与滚转角对运行状态的影响， 使得现在避障算法难以适应高机动性的无人机， 导致实际无人机执行任务时解脱路线与规划路线存在偏差， 影响任务执行效果。

（2） 机载传感器误差。 目前无人机解脱路径模型中， 一般假设无人机可探测范围内障碍物的物理信息均可由理想机载传感器获取， 而较少考虑机载传感器的实际性能与特性。 目前采用的红外、 超声波、 激光和视觉等主流避障方法， 难以精确探测复杂环境（例如烟雾等）。 同时， 不同机载传感器由于工作原理与性能指标的差异， 存在信息融合效果差、 时间延迟、 测量误差等问题， 对解脱路径的生成造成一定影响。

（3） 环境建模问题。 目前的避障路径规划算法多数都是基于规则的理想障碍物的假设， 而实际无人机运行环境复杂多样， 特别是复杂凹型障碍环境（例如U型障碍等）、 密集动态障碍（例如大规模集群系统）等场景的探测与描述， 还需要进一步的探索。

（4） 算法实时性问题。 若环境信息是時变的， 避障算法就必须具有在线规划能力。 算法的实时性与其应用背景紧密联系， 只有达到一定解算速度的实时性算法， 才可应用于复杂动态环境的在线重规划， 否则， 只能应用于离线规划或局部重规划。 当前的避障算法一般通过对复杂系统进行线性化与近似化处理， 实时性问题并没有得到很好的解决。

（5） 组网通信。 当前无人机之间通过无线通信方式进行信息交换， 当集群规模较小时尚可满足需求， 但面对大范围、 大规模集群高速飞行场景时， 对组网通信的性能需求较大。 因此， 快速可靠的通信和组网仍是目前具有挑战性的问题。

研究重点和方向主要集中在以下几点：

（1） 完善避障算法的实用性。 对于复杂环境建模， 必须通过具体测量或者使用准确的三维地图， 从而获取可靠精确的数据， 考虑复杂环境多因素对避障效果的影响， 利用数据对模型进行验证。 针对具体型号的无人机， 重点研究六自由度无人机在复杂环境下的避障算法， 考虑机载传感器误差等一系列约束条件， 对机载传感器信息传输模型进行细化， 针对不同性能传感器设计不同的规划方法， 实现无人机“感知-避撞”流程闭环。 同时在融合空域内， 无人机必须考虑无人机空中交通管理（Unmanned Air Traffic Management，  UTM）下的运行规则， 充分结合环境建模和具体应用背景， 设计出具有实用性的避障路径。

（2） 融合多类型避障路径算法。 融合不同类型的避障算法， 弥补现有单个方法的缺陷与不足， 是当前的重要研究趋势。 例如， 传统避障规划方法（基于优化、 势场等）可与机器学习为代表的人工智能技术相结合， 优势互补， 解决传统避障算法中局部最优等问题， 也在一定程度上弥补基于机器学习的避障规划算法中的实时性差等问题。

（3） 多机协同避障。 由于单无人机的机动区域很小， 一旦发生碰撞， 会影响临近无人机， 集群之间产生链式效应， 将造成任务失败， 因此， 随着无人机集群在战术打击、 目标协同搜索、 多异构平台协同等复杂任务的广泛应用， 多机协同编队避障主要研究在满足多样约束条件下， 将避障策略合理分配给各个有能力的无人机个体， 完成协同避障。 由于多机协同编队避障对环境感知、 任务建模以及规划方法都有较高的要求， 因此， 还需要进一步的探索与研究。

（4） 設计合理的容错机制。 容错冗余机制是保障无人机系统运行安全的重要环节。 当前没有对避障算法核心以及薄弱环节进行容错机制设计， 一旦解脱环节失效， 会造成不可预知后果。 因此， 在未来研究中要着重无人机机能失效时的容错机制设计， 避免不可控事件发生。

（5） 规划-控制一体化设计。 当前学者将无人机避障路径规划与路径控制区分开， 分别进行建模研究， 而实际无人机是否精确跟踪无人机规划解脱路径是当前未解决的问题。 因此需要将无人机控制制导律融合到解脱路径解算过程中， 实现规划-控制一体化。

4 结 束 语

避障技术是反映无人机自主控制以及智能化水平的关键指标， 同时作为无人机任务决策规划的核心模块， 避障技术逐渐发挥其重要作用。 分析结论表明：

（1） 基于优化的避障方法可以处理异常复杂的非结构化约束以及各类难以近似处理的动力学约束等问题， 其中数学优化算法计算繁杂， 不易理解， 但可综合考虑避障路径的可靠性、 安全性与优化性能。 启发式算法一般实时性较差， 不适合在线避障规划场景， 只适用于离线规划或者全局的初始规划等场景。

（2） 基于势场和导航函数的避障方法可以快速生成避障路径， 实时性好， 且路径光滑， 但不能将各类约束条件加入到避障过程， 易陷入局部最优， 因此， 在局部规划器中可优先采用此类方法。

（3） 基于机器学习的避障方法规划实时性与全局性均达到不错的效果， 且不依赖于环境先验信息， 但当无人机处于连续状态空间与动作空间场景时， 模型离线学习训练耗时长， 且不易收敛， 甚至难以完成训练。

从当前发展现状来看， 无人机避障工程实践滞后于理论发展， 在下一步发展中， 应致力于理论实践化。

参考文献：

[1] 国务院办公厅关于促进通用航空业发展的指导意见[EB/OL]. （2016-05-17）[2021-01-10].http：∥www.gov.cn/zhengce/ content/2016-05/17/content_5074120.htm.

Instruction on Promoting the Development of General Aviation Industry from General Office of the State Council[EB/OL]. （2016-05-17）[2021-01-10].http：∥www.gov.cn/zhengce/ content/2016-05/17/content_5074120.htm. （in Chinese）

[2] 中国民航局. 无人驾驶航空器飞行管理暂行条例[EB/OL]. （2020-03-28）[2021-01-10]. https：∥wenku.baidu.com/view/ b36cc48bff4733687e21af45b307e87100f6f866.html.

Civil Aviation Administration of China. Interim Regulations on Flight Management of Unmanned Aircraft[EB/OL]. （2020-03-28） [2020-01-10]. https：∥wenku.baidu.com/view/ b36cc48bff4733687e21af45b307e87100f6f866.html. （in Chinese）

[3] 全权，  李刚，  柏艺琴，  等. 低空无人机交通管理概览与建议[J]. 航空学报，  2020，  41（1）： 023238.

Quan Quan，  Li Gang，  Bai Yiqin，  et al. Low Altitude UAV Traffic Management： An Introductory Overview and Proposal[J]. Acta Aeronautica et Astronautica Sinica，  2020，  41（1）： 023238.（in Chinese）

[4] Lanicci J，  Halperin D，  Shappell S，  et al. General Aviation Weather Encounter Case Studies[R]. Washington D C： Office of Aerospace Medicine，  2012：1-12.

[5] 杨健. 无人机集群系统空域冲突消解方法研究[D]. 长沙： 国防科学技术大学，  2016： 1-14.

Yang Jian. Study on the Airspace Conflict Resolution Problem of Unmanned Aerial Vehicle Swarm Systems[D]. Changsha： National University of Defense Technology，  2016： 1-14.（in Chinese）

[6] Soler M，  Kamgarpour M，  Lloret J，  et al. A Hybrid Optimal Control Approach to Fuel-Efficient Aircraft Conflict Avoidance[J]. IEEE Transactions on Intelligent Transportation Systems，  2016，  17（7）： 1826-1838.

[7] 陈伟锋，  邵之江. 基于析取关系直接变换的冲突解脱方法[J]. 航空学报，  2014，  35（4）： 1122-1133.

Chen Weifeng，  Shao Zhijiang. Direct Disjunction Transcription Based Conflict Resolution Approach[J]. Acta Aeronautica et Astronautica Sinica，  2014，  35（4）： 1122-1133.（in Chinese）

[8] 付其喜，  梁晓龙，  张佳强，  等. 双层优化的多无人机合作式冲突探测与解脱[J]. 哈尔滨工业大学学报，  2020，  52（4）： 74-83.

Fu Qixi，  Liang Xiaolong，  Zhang Jiaqiang，  et al. Cooperative Conflict Detection and Resolution for Multiple UAVs Using Two-Layer Optimization[J]. Journal of Harbin Institute of Technology，  2020，  52（4）： 74-83.（in Chinese）

[9] 王祝，  刘莉，  龙腾，  等. 基于罚函数序列凸规划的多无人机轨迹规划[J]. 航空学报，  2016，  37（10）： 3149-3158.

Wang Zhu，  Liu Li，  Long Teng，  et al. Trajectory Planning for Multi-UAVs Using Penalty Sequential Convex Programming[J]. Acta Aeronautica et Astronautica Sinica，  2016，  37（10）： 3149-3158.（in Chinese）

[10] Radmanesh M，  Kumar M，  Nemati A，  et al. Dynamic Optimal UAV Trajectory Planning in the National Airspace System via Mixed Integer Linear Programming[J]. Proceedings of the Institution of Mechanical Engineers，  Part G： Journal of Aerospace Engineering，  2016，  230（9）： 1668-1682.

[11] Turnbull O，  Lawry J，  Lowenberg M，  et al. A Cloned Linguistic Decision Tree Controller for Real-Time Path Planning in Hostile Environments[J]. Fuzzy Sets and Systems，  2016，  293： 1-29.

[12] Sarim M，  Radmanesh M，  Dechering M，  et al. Distributed Detect-and-Avoid for Multiple Unmanned Aerial Vehicles in National Air Space[J]. Journal of Dynamic Systems，  Measurement，  and Control，  2019，  141（7）： 071014.

[13] Alonso-Ayuso A，  Escudero L F，  Martín-Campo F J. A Mixed 0-1 Nonlinear Optimization Model and Algorithmic Approach for the Collision Avoidance in ATM[J]. Computers & Operations Research， 2012， 39（12）： 3136-3146.

[14] 張启钱，  王中叶，  张洪海，  等. 基于SMILO-VTAC模型的复杂低空多机冲突解脱方法[J]. 交通运输工程学报，  2019，  19（6）： 125-136.

Zhang Qiqian，  Wang Zhongye，  Zhang Honghai，  et al. SMILO-VTAC Model Based Multi-Aircraft Conflict Resolution Method in Complex Low-Altitude Airspace[J]. Journal of Traffic and Transportation Engineering，  2019，  19（6）： 125-136.（in Chinese）

[15] 采俊玲，  张宁. 基于MINLP模型的飞机冲突解脱研究[J]. 重庆理工大学学报：自然科学，  2020，  34（2）： 188-195.

Cai Junling，  Zhang Ning. Aircraft Conflict Resolution Study Based on Mixed Integer Nonlinear Programming Model[J]. Journal of Chongqing University of Technology： Natural Science，  2020，  34（2）： 188-195.（in Chinese）

[16] Denton R V，  Jones J E. Demonstration of an Innovation Technique for Terrain Following/Terrain Avoidance—The Dynapath Algorithm[R]. IEEE NAECON Conference， 1985：522-529.

[17] Sunberg Z N，  Kochenderfer M J，  Pavone M. Optimized and Trusted Collision Avoidance for Unmanned Aerial Vehicles Using Approximate Dynamic Programming[C]∥IEEE International Conference on Robotics and Automation，  2016： 1455-1461.

[18] Bousson K. Single Gridpoint Dynamic Programming for Trajectory Optimization[C]∥AIAA Atmospheric Flight Mechanics Conference and Exhibit，  2005.

[19] 薛敏， 徐海成， 王碩. 基于粒子群优化算法的无人艇路径规划[J]. 中国科技信息， 2018（24）： 69-70.

Xue Min，  Xu Haicheng，  Wang Shuo. Path Planning of Unmanned Surface Vehicle Based on Particle Swarm Optimization Algorithm[J]. China Science and Technology Information，  2018（24）： 69-70. （in Chinese）

[20] Tang X L，  Li L M，  Jiang B J. Mobile Robot SLAM Method Based on Multi-Agent Particle Swarm Optimized Particle Filter[J]. The Journal of China Universities of Posts and Telecommunications，  2014，  21（6）： 78-86.

[21] Zhuang Y F，  Sharma S，  Subudhi B，  et al. Efficient Collision-Free Path Planning for Autonomous Underwater Vehicles in Dynamic Environments with a Hybrid Optimization Algorithm[J]. Ocean Engineering，  2016，  127： 190-199.

[22] Yan Z P，  Li J Y，  Zou J J，  et al. A Hybrid PSO-WG Algorithm for AUV Path Planning in Unknown Oceanic Environment[C]∥IEEE 8th International Conference on Underwater System Technology： Theory and Applications （USYS），  2018： 1-6.

[23] Lim H S，  Fan S S，  Chin C K H，  et al. Constrained Path Planning of Autonomous Underwater Vehicle Using Selectively-Hybridized Particle Swarm Optimization Algorithms[J]. IFAC-PapersOnLine，  2019，  52（21）： 315-322.

[24] 李平阳. 基于遗传算法的无人机多目标路径规划[J]. 农业装备与车辆工程，  2019，  57（1）： 68-70.

Li Pingyang. Multiobjective Path Planning of Unmanned Aerial Vehicle Based on Genetic Algorithm[J]. Agricultural Equipment & Vehicle Engineering，  2019，  57（1）： 68-70.（in Chinese）

[25] 余文曌，  佘航宇，  欧阳子路. 基于弹性网格的改进遗传算法在无人艇路径规划中的研究[J]. 中国航海，  2018，  41（4）： 101-105.

Yu Wenzhao，  She Hangyu，  Ouyang Zilu. Path Planning of Unmanned Surface Vehicle Based on Variable Mesh Improved Genetic Algorithm[J]. Navigation of China，  2018，  41（4）： 101-105.（in Chinese）

[26] Yan S K，  Pan F. Research on Route Planning of AUV Based on Genetic Algorithms[C]∥IEEE International Conference on Unmanned Systems and Artificial Intelligence （ICUSAI），  2019： 184-187.

[27] 何光勤， 朱一飞， 张才然. 基于遗传算法的无人机三维航迹规划研究[J].价值工程，  2020， 39（7）： 215-218.

He Guangqin，  Zhu Yifei，  Zhang Cairan. Research of 3D Flight Path Planning of UAV Based on Genetic Algorithm[J]. Value Engineering，  2020，  39（7）： 215-218. （in Chinese）

[28] 张宏宏，  甘旭升，  李双峰，  等. 复杂低空环境下考虑区域风险评估的无人机航路规划[J]. 仪器仪表学报，  2021，  42（1）： 257-266.

Zhang Honghong，  Gan Xusheng，  Li Shuangfeng，  et al. UAV Route Planning Considering Regional Risk Assessment under Complex Low Altitude Environment[J]. Chinese Journal of Scientific Instrument，  2021，  42（1）： 257-266. （in Chinese）

[29] Wu X X，  Wei G L，  Song Y，  et al. Improved ACO-Based Path Planning with Rollback and Death Strategies[J]. Systems Science & Control Engineering，  2018，  6（1）： 102-107.

[30] Jiao Z Q，  Ma K，  Rong Y L，  et al. A Path Planning Method Using Adaptive Polymorphic Ant Colony Algorithm for Smart Wheelchairs[J]. Journal of Computational Science，  2018，  25： 50-57.

[31] Luo Q，  Wang H B，  Zheng Y，  et al. Research on Path Planning of Mobile Robot Based on Improved Ant Colony Algorithm[J]. Neural Computing and Applications，  2020，  32（6）： 1555-1566.

[32] Kang F，  Li J J，  Ma Z Y. Rosenbrock Artificial Bee Colony Algorithm for Accurate Global Optimization of Numerical Functions[J]. Information Sciences，  2011，  181（16）： 3508-3531.

[33] 王淵，  孙秀霞，  刘树光，  等. 基于改进人工蜂群算法的多机飞行冲突解脱策略[J]. 空军工程大学学报：自然科学版，  2014，  15（3）： 10-14.

Wang Yuan，  Sun Xiuxia，  Liu Shuguang，  et al. Research on Multi-Aircraft Confliction Resolution Based on a Modified Artificial Bee Colony Algorithm[J]. Journal of Air Force Engineering University： Natural Science Edition，  2014，  15（3）： 10-14. （in Chinese）

[34] Contreras-Cruz M A，  Ayala-Ramirez V，  Hernandez-Belmonte U H. Mobile Robot Path Planning Using Artificial Bee Colony and Evolutionary Programming[J]. Applied Soft Computing，  2015，  30： 319-328.

[35] Li B，  Gong L G，  Yang W L. An Improved Artificial Bee Colony Algorithm Based on Balance-Evolution Strategy for Unmanned Combat Aerial Vehicle Path Planning[J]. The Scientific World Journal，  2014，  2014： 1-10.

[36] Xie C，  Zheng H Q. Application of Improved Cuckoo Search Algorithm to Path Planning Unmanned Aerial Vehicle[C] ∥Intelligent Computing Theories and Application，  2016： 722-729.

[37] Wu J F，  Wang H L，  Li N，  et al. Path Planning for Solar-Powered UAV in Urban Environment[J]. Neurocomputing，  2018，  275： 2055-2065.

[38] Yao P，  Wang H L. Dynamic Adaptive Ant Lion Optimizer Applied to Route Planning for Unmanned Aerial Vehicle[J]. Soft Computing，  2017，  21（18）： 5475-5488.

[39] Zhang B，  Duan H B. Three-Dimensional Path Planning for Uninhabited Combat Aerial Vehicle Based on Predator-Prey Pigeon-Inspired Optimization in Dynamic Environment[J]. IEEE/ACM Transactions on Computational Biology and Bioinformatics，  2017，  14（1）： 97-107.

[40] 李鳳玲， 陈珊， 范兴江， 等. 基于萤火虫算法动态未知环境的路径规划[J]. 自动化与仪表，  2019，  34（6）： 53-58.

Li Fengling，  Chen Shan，  Fan Xingjiang，  et al. Path Planning Based on Firefly Algorithm in Dynamic Unknown Environment[J].Automation & Instrumentation，  2019，  34（6）： 53-58.

[41] 钱洲元，  雷明. 面向无人机航迹规划的自适应乌贼算法[J]. 哈尔滨工业大学学报，  2019，  51（10）： 37-46.

Qian Zhouyuan，  Lei Ming. Adaptive Cuttlefish Algorithm for UAV Path Planning[J]. Journal of Harbin Institute of Technology，  2019，  51（10）： 37-46.（in Chinese）

[42] 马云红，  张恒，  齐乐融，  等. 基于改进A*算法的三维无人机路径规划[J]. 电光与控制，  2019，  26（10）： 22-25.

Ma Yunhong，  Zhang Heng，  Qi Lerong，  et al. A 3D UAV Path Planning Method Based on Improved A* Algorithm[J]. Electronics Optics & Control，  2019，  26（10）： 22-25.（in Chinese）

[43] 祁玄玄，  黄家骏，  曹建安. 基于改进A*算法的无人车路径规划[J]. 计算机应用，  2020，  40（7）： 2021-2027.

Qi Xuanxuan，  Huang Jiajun，  Cao Jianan. Path Planning for Unmanned Vehicle Based on Improved A* Algorithm[J]. Journal of Computer Applications，  2020，  40（7）： 2021-2027.（in Chinese）

[44] 宋雪倩，  胡士强. 基于Dubins路径的A*算法的多无人机路径规划[J]. 电光与控制，  2018，  25（11）： 25-29.

Song Xueqian，  Hu Shiqiang. Dual-UAV Path Planning by Dubins-Path Based A* Algorithm[J]. Electronics Optics & Control，  2018，  25（11）： 25-29.（in Chinese）

[45] Ganapathy V，  Yun S，  Chien T. Enhanced D* Lite Algorithm for Autonomous Mobile Robot [J]. International Journal of Applied Sciense and Technology，  2011，  1（1）： 58-73.

[46] Stentz A. Optimal and Efficient Path Planning for Partially-Known Environments[C]∥IEEE International Conference on Robotics and Automation，  1994： 3310-3317.

[47] 朱龙彪，  王辉，  王景良，  等. 基于动态时间窗的泊车系统路径规划研究[J]. 工程设计学报，  2017，  24（4）： 440-448.

Zhu Longbiao，  Wang Hui，  Wang Jingliang，  et al. Research on Path Planning of Parking System Based on Dynamic Time Window[J]. Chinese Journal of Engineering Design，  2017，  24（4）： 440-448.（in Chinese）

[48] Maini P，  Sujit P B. Path Planning for a UAV with Kinematic Constraints in the Presence of Polygonal Obstacles[C]∥IEEE International Conference on Unmanned Aircraft Systems，  2016： 62-67.

[49] Bhattacharya P，  Gavrilova M L. Roadmap-Based Path Planning-Using the Voronoi Diagram for a Clearance-Based Shortest Path[J]. IEEE Robotics & Automation Magazine，  2008，  15（2）： 58-66.

[50] Han T，  Wu W C，  Huang C Q，  et al. Path Planning of UAV Based on Voronoi Diagram and DPSO[J]. Procedia Engineering，  2012，  29： 4198-4203.

[51] 李寰宇，  陈延龙，  张振兴，  等. 基于Dubins的无人机自动避撞路径规划[J]. 飞行力学，  2020，  38（5）： 44-49.

Li Huanyu，  Chen Yanlong，  Zhang Zhenxing，  et al. UAV Collision Avoidance Path Planning Based on Dubins Method[J]. Flight Dynamics，  2020，  38（5）： 44-49.（in Chinese）

[52] Zhu M N，  Zhang X H，  Luo H，  et al. Optimization Dubins Path of Multiple UAVs for Post-Earthquake Rapid-Assessment[J]. Applied Sciences，  2020，  10（4）： 1388.

[53] Yan P，  Yan Z，  Zheng H X，  et al. A Fixed Wing UAV Path Planning Algorithm Based on Genetic Algorithm and Dubins Curve Theory[J]. MATEC Web of Conferences，  2018，  179： 03003.

[54] 曾國奇，  赵民强，  刘方圆，  等. 基于网格PRM的无人机多约束航路规划[J]. 系统工程与电子技术，  2016，  38（10）： 2310-2316.

Zeng Guoqi，  Zhao Minqiang，  Liu Fangyuan，  et al. Multi-Constraints UAV Path Planning Based on Grid PRM[J]. Systems Engineering and Electronics，  2016，  38（10）： 2310-2316.（in Chinese）

[55] Upadhyay A，  Shrimali K R，  Shukla A. UAV-Robot Relationship for Coordination of Robots on a Collision Free Path[J]. Procedia Computer Science，  2018，  133： 424-431.

[56] 管祥民，  吕人力. 基于混合人工势场与蚁群算法的多飞行器冲突解脱方法[J]. 武汉理工大学学报： 交通科学与工程版，  2020，  44（1）： 28-33.

Guan Xiangmin，  Lü Renli. Conflict Resolution Method for Multiple Aircraft Based on Hybrid Artificial Potential Field and Ant Colony Algorithm[J]. Journal of Wuhan University of Technology ： Transportation Science & Engineering，  2020，  44（1）： 28-33.（in Chinese）

[57] Yang X，  Yang W，  Zhang H J，  et al. A New Method for Robot Path Planning Based Artificial Potential Field[C]∥IEEE 11th Conference on Industrial Electronics and Applications （ICIEA），  2016： 1294-1299.

[58] 韩知玖，  吴文江，  李孝伟，  等. 一种改进的动力学约束人工势场法[J]. 上海大学学报： 自然科学版，  2019，  25（6）： 879-887.

Han Zhijiu，  Wu Wenjiang，  Li Xiaowei，  et al. An Improved Artificial Potential Field Method Constrained by a Dynamic Model[J]. Journal of Shanghai University： Natural Science Edition，  2019，  25（6）： 879-887.（in Chinese）

[59] 张宏宏，  甘旭升，  李昂，  等. 基于速度障碍法的无人机避障与航迹恢复策略[J]. 系统工程与电子技术，  2020，  42（8）： 1759-1767.

Zhang Honghong，  Gan Xusheng，  Li Ang，  et al. UAV Obstacle Avoidance and Track Recovery Strategy Based on Velocity Obstacle Method[J]. Systems Engineering and Electronics，  2020，  42（8）： 1759-1767.（in Chinese）

[60] Durand N. Constant Speed Optimal Reciprocal Collision Avoi-dance[J]. Transportation Research Part C： Emerging Technologies，  2018，  96： 366-379.

[61] Bareiss D，  van den Berg J. Generalized Reciprocal Collision Avoidance[J]. The International Journal of Robotics Research，  2015，  34（12）： 1501-1514.

[62] 楊秀霞，  张毅，  周硙硙，  等. 基于空间障碍球冠的UAV保角映射避碰决策[J]. 华中科技大学学报： 自然科学版，  2019，  47（2）： 127-132.

Yang Xiuxia，  Zhang Yi，  Zhou Weiwei，  et al. Spatial Optimal Collision Avoidance Decision for UAV Based on Spatial Obstacle Spherical Cap[J]. Journal of Huazhong University of Science and Technology： Natural Science Edition，  2019，  47（2）： 127-132.（in Chinese）

[63] 梁宵，  王宏伦，  李大伟，  等. 基于流水避石原理的无人机三维航路规划方法[J]. 航空学报，  2013，  34（7）： 1670-1681.

Liang Xiao，  Wang Honglun，  Li Dawei，  et al. Three-Dimensional Path Planning for Unmanned Aerial Vehicles Based on Principles of Stream Avoiding Obstacles[J]. Acta Aeronautica et Astronautica Sinica，  2013，  34（7）： 1670-1681.（in Chinese）

[64] Daily R，  Bevly D M. Harmonic Potential Field Path Planning for High Speed Vehicles[C]∥IEEE American Control Conference，  2008： 4609-4614.

[65] 王宏伦，  姚鹏，  梁宵，  等. 基于流水避石原理的无人机三维航路规划[J]. 电光与控制，  2015，  22（10）： 1-6.

Wang Honglun，  Yao Peng，  Liang Xiao，  et al. Three-Dimensional Path Planning for UAVs Based on Theory of Fluid Avoiding Obstacles[J]. Electronics Optics & Control，  2015，  22（10）： 1-6.（in Chinese）

[66] Floreano D，  Mondada F. Evolutionary Neurocontrollers for Auto-nomous Mobile Robots[J]. Neural Networks，  1998，  11（7/8）： 1461-1478.

[67] 方旭，  刘金琨. 四旋翼无人机三维航迹规划及跟踪控制[J]. 控制理论与应用，  2015，  32（8）： 1120-1128.

Fang Xu，  Liu Jinkun. Three-Dimension Path Planning and Trajectory Tracking Control for Quadrotor Unmanned Aerial Vehicle[J]. Control Theory & Applications，  2015，  32（8）： 1120-1128.（in Chinese）

[68] 王延祥，  王宏伦，  吴健发，  等. 基于流体扰动算法与深度神经网络的无人机自适应路径规划[J]. 无人系统技术，  2020，  3（6）： 50-58.

Wang Yanxiang，  Wang Honglun，  Wu Jianfa，  et al. Adaptive Path Planning for UAV Based on Interfered Fluid Algorithm and Deep Neural Network[J]. Unmanned Systems Technology，  2020，  3（6）： 50-58.（in Chinese）

[69] Zhang Y Y，  Li S，  Guo H L. A Type of Biased Consensus-Based Distributed Neural Network for Path Planning[J]. Nonlinear Dynamics，  2017，  89（3）： 1803-1815.

[70] Choi Y J，Jimenez H，Mavris D N. Two-Layer Obstacle Collision Avoidance with Machine Learning for More Energy-Efficient Unmanned Aircraft Trajectories[J]. Robotics and Autonomous Systems，2017，98：158-173.

[71] 邴麗媛，  刘智，  蒋余成. 基于模糊神经网络的电力巡线无人机避障技术研究[J]. 长春理工大学学报： 自然科学版，  2017，  40（3）： 98-102.

Bing Liyuan，  Liu Zhi，  Jiang Yucheng. Research on Obstacle Avoidance Technology of Unmanned Aerial Vehicle in Power Line Inspection[J]. Journal of Changchun University of Science and Technology： Natural Science Edition，  2017，  40（3）： 98-102.（in Chinese）

[72] Chang Y，  Wang Y Q，  Alsaadi F E，  et al. Adaptive Fuzzy Output-Feedback Tracking Control for Switched Stochastic Pure-Feedback Nonlinear Systems[J]. International Journal of Adaptive Control and Signal Processing，  2019，  33（10）： 1567-1582.

[73] Michels J，  Saxena A，  Ng A Y. High Speed Obstacle Avoidance Using Monocular Vision and Reinforcement Learning[C]∥The 22nd International Conference on Machine Learning，  2005： 593-600.

[74] Xie L H，  Wang S，  Markham A，  et al. Towards Monocular Vision Based Obstacle Avoidance through Deep Reinforcement Learning[EB/OL]. （2017-06-29）[2021-01-10]. https：∥www. researchgate.net/publication/318029385_Towards_Monocular_Vision_based_Obstacle_Avoidance_through_Deep_Reinforcement_Learning， 2017.

[75] Vamvoudakis K G，  Vrabie D，  Lewis F L. Online Adaptive Algorithm for Optimal Control with Integral Reinforcement Learning[J]. International Journal of Robust and Nonlinear Control，  2014，  24（17）： 2686-2710.

[76] 鄒启杰，  刘世慧，  张跃，  等. 基于强化学习的快速探索随机树特殊环境中路径重规划算法[J]. 控制理论与应用，  2020，  37（8）： 1737-1748.

Zou Qijie，  Liu Shihui，  Zhang Yue，  et al. Rapidly-Exploring Random Tree Algorithm for Path Re-Planning Based on Reinforcement Learning under the Peculiar Environment[J]. Control Theory & Applications，  2020，  37（8）： 1737-1748.（in Chinese）

[77] Kulkarni T D. Narasimhan K R，  Saeedi A，  et al. Hierarchical Deep Reinforcement Learning： Integrating Temporal Abstraction and Intrinsic Motivation[C]∥ 30th International Conference on Neural Information Processing Systems，  2016： 3675-3683.

[78] Yang S L，  Xu Z G，  Wang J Y. Intelligent Decision-Making of Scheduling for Dynamic Permutation Flowshop via Deep Reinforcement Learning[J]. Sensors，  2021，  21（3）： 1019.

[79] Mnih V，  Kavukcuoglu K，  Silver D，  et al. Human-Level Control through Deep Reinforcement Learning[J]. Nature，  2015，  518（7540）： 529-533.

[80] Lü L，  Zhang S J，  Ding D R，  et al. Path Planning via an Improved DQN-Based Learning Policy[J]. IEEE Access，  2019，  7： 67319-67330.

[81] 刘庆杰，  林友勇，  李少利. 面向智能避障场景的深度强化学习研究[J]. 智能物联技术，  2018，  1（2）： 18-22.

Liu Qingjie，  Lin Youyong，  Li Shaoli. Research on Deep Reinforcement Learning for Intelligent Obstacle Avoidance Scenarios[J]. Technology of IoT & AI，  2018，  1（2）： 18-22.（in Chinese）

[82] Schulman J，  Levine S，  Moritz P，  et al. Trust Region Policy Optimization[EB/OL]. （2015-02-01）[2021-01-10]. https：∥www. researchgate.net/publication/272521272_Trust_Region_Policy_ Optimization，  2015.

[83] Fan L Q，  Zhang J，  He Y，  et al. Optimal Scheduling of Microgrid Based on Deep Deterministic Policy Gradient and Transfer Learning[J]. Energies，  2021，  14（3）： 584.

[84] Du J Y，  Fu J，  Li C. Guided Policy Search Methods： A Review[J]. Journal of Physics： Conference Series，  2021，  1748： 022039.

[85] Levine S，  Finn C，  Darrell T，  et al. End-to-End Training of Deep Visuomotor Policies[EB/OL]. （2015-04-01）[2021-01-10]. https：∥www.researchgate.net/publication/274572264_End-to-End_Training_of_Deep_Visuomotor_Policies， 2015.

[86] Heess N，  TB D，  Sriram S，  et al. Emergence of Locomotion Behaviours in Rich Environments[EB/OL]. （2017-07-01） [2021-01-10]. https：∥www.researchgate.net/ publication/ 318316001_ Emergence_of_Locomotion_ Behaviours_in_Rich_ Environments，  2017.

Review of UAV Obstacle Avoidance Algorithms

Zhang Honghong1， 2， Gan Xusheng1， 2*， Mao Yi1， Yang Chunlin1， Xie Xiaowei3

（1. Air Traffic Control and Navigation College，  Air Force Engineering University，  Xian 710051，  China;

2. National Key Laboratory of Air Traffic Collision Prevention，  Xian 710051， China;

3. Equipment Management and UAV Engineering College，  Air Force Engineering University，  Xian 710051，  China）

Abstract： Along with the advancement of  low-altitude airspace reform，  it has become a developing trend that UAV leaves the isolation airspace and gets into the fusion low-altitude airspace to perform diverse missions. A serious threat is brought to UAV in the low dynamic complex fusion airspace，  so the obstacle avoidance technology has become a key process in UAV mission decision-making system，  to ensure the safe operation of the UAV and to improve working efficiency. Firstly，  the relevant concepts，  path evaluation indexes and key technologies of UAV obstacle avoidance are described. Then， the concepts  of  obstacle avoidance algorithms based on optimization，  potential field and machine learning are  described，  and the advantages and disadvantages of these algorithms are compared. Finally，  the current challenges that restrict the development of UAV obstacle avoidance and the future research directions are proposed.

Key words： UAV; obstacle avoidance; optimization; potential field; machine learning; artificial intelligence; autonomous control