钟剑峰，王红军

（国防科技大学电子对抗学院，合肥 230037）

0 引言

5G 移动通信网的成熟应用和无人机集群组网技术的飞速发展将无人机集群技术和5G 通信技术相融合，使应急通信成为可能。在特定地域，利用无人机搭载任务载荷（由5G 通信模块、组网模块和能量管理模块等组成）升空组网，能使救援力量在通信基础设施损毁的环境下实现5G 级别的高速率、高可靠、低时延和低功耗的通信，无需频繁调动通信卫星等资源，可显著降低行动成本，这对执行海上救援、地震救灾或洪涝灾害等任务的救援力量显得尤为重要，可提升救援效率。

图1 是基于无人机集群的应急通信系统总体设计。基于无人机集群的应急通信系统，由基于无人机集群的5G 通信网（搭载任务载荷）、应急通信方舱车（装配5G 宏基站和5G 核心网设备等）和应急通信指挥中心（部署无人机控制中心、5G 网管中心和通信保障中心）3 部分组成，其中基于无人机集群的5G 通信网负责5G 网络覆盖和组网通信；靠前部署的应急通信方舱车负责现场通信业务调度、管理和无人机的控制；应急通信指挥中心负责远程调度、指挥与控制，系统具体工作流程在此不作详细阐述。

图1 无人机集群应急通信系统

无人机集群5G 通信网络有着能量有限、多跳性和网络高动态的特点，该特点致使其需要高效的无人机自组网路由协议的支持，高质量的路由选择能够保证不同类型业务的可靠传送，大大降低网络的传输时延，并减小网络不必要的管理控制开销。传统的无人机自组网路由协议有无线自组网按需平面距离向量路由协议（AD HOC on-demand distance vector routing，AODV）、优化链路状态路由协议（optimized link state routing，OLSR）、基于位置的路由协议（greedy perimeter stateless routing，GPSR）等。文献［6］提出了一种分簇的、位置辅助的路由协议GACB（geographic information-assisted and cluster-based，GACB），其有效降低了控制开销和路径断裂次数，但由于有路由发现过程，依然有较大的通信时延。文献［7］提出了一种簇间机会路由协议，该协议通过计算选出最佳中继转发节点而无需节点维护路由表，有效减少了路由维护开销，但其计算过于复杂导致通信时延过大。文献［8］提出了一种添加位置的区域混合路由协议（location-based zone routing protocol，ZRPBL），其用GPSR 路由协议作为区间通讯的转发策略，从而避免了区间的路由维护控制信息广播，大幅减少路由开销和响应时间，但其未对链路质量进行学习，不适用于基于无人机集群应急通信系统的高可靠性和节省能量的需求。文献［9］提出了一种基于Q 学习的低开销路由协议，其能够自主利用Q 学习的方法来实现对链路质量的预测，有效提升传输质量，但其不适用于高动态网络场景。文献［10］提出一种基于Q 网络的强化学习地理位置路由协议（Q-network enhanced geographic AD-HOC routing protocol based on GPSR，QNGPSR），通过使用邻居拓扑信息以及Q 网络，QNGPSR 可以更好地估计环境和节点状态并降低周边转发使用率，但其未对链路质量进行强化学习，无法保证传输链路质量，从而导致分组送达率不高。文献［11］针对无人机应急通信网络中的高机动性、链路不稳定、拓扑结构动态变化、能量有限等原因造成的定位与路由挑战，提出了基于群智能的三维定位算法（swarm-intelligence-based locatization，SIL），SIL 算法利用有限边界条件下的粒子搜索空间在三维空间中锚定无人机节点随机分布，通过测量与已有锚节点的距离来估计目标无人机节点的位置，提高了收敛时间和定位精度，降低了计算量；其次，提出了一种基于粒子群优化算法的能量有效群智能分簇算法（swarm-intelligence-based clustering，SIC），该算法利用粒子适应度函数对簇间距离、簇内距离、剩余能量和地理位置等进行分簇，并基于改进的粒子优化算法选择簇首；最后，借助SIL和SIC 两种算法优化了簇首之间的多跳路由，该协议虽然提高了包传递率、减小了路由开销，但其得到的分簇网络结构中相邻簇首之间是直接通信的，这就要求当选为簇首的无人机搭载的组网模块通信半径比其他节点的大，容易造成分簇不均匀，因此，不适用无人机集群5G 通信网的节省能量和网络可扩展的需求，同时其借助粒子群优化的定位算法进行路由发现依然有较大通信时延。

鉴于5G 如前所述的通信高要求，无人机集群应急通信系统，因采用了5G 技术而具有其独特的路由特色，主要表现在：节点路由多跳但要求通信低时延、节点移动和网络拓扑重构，导致路由动态但通信稳定性和可靠性要求高、集群分布式路由组网但通信速率要求高等，这就要求组网模块必须具有与采用5G 技术后路由特色相关联的路由功能，这也是本文的研究重点。针对现有无人机自组网路由协议不完全满足无人机集群5G 通信网上述特点和需求的现状，本文对分簇路由协议展开研究，以期探索一种节省能量、减小路由开销、降低通信时延、提升网络可靠性与稳定性的有效方法。

图2 是无人机集群5G 通信网采用的分簇路由协议的架构，分簇路由协议分为分簇算法、簇内路由和簇间路由3 个部分。在实现高效动态分簇的前提下，针对图2 中簇内路由和簇间路由，本文提出了一种基于簇结构和强化学习的分簇路由协议CRP-CS-RL（cluster routing protocol based on cluster structure and reinforcement leaning，CRP-CS-RL），其簇内采用基于簇结构的先应式PRP-C（proactive routing protocol based on cluster，PRP-C）协议，簇间采用基于位置和链路质量Q 学习的自适应ARP-LQ（adaptive routing protocol based on location and Qlearning for link quality，ARP-L-Q）协议，簇间路由协议ARP-L-Q 通过引入基于位置和链路质量Q 学习以期减小路由维护开销、缩短端到端时延和提高转发成功率。

图2 分簇路由协议

1 基于簇结构和强化学习的分簇路由协议

1.1 ZRPBL 协议分析

ZRPBL 是由区域路由协议（zone routing protocol，ZRP）派生而来，ZRP 协议实际上是一个框架。

如图3 所示，ZRPBL 依然采用标准ZRP 协议体系架构，其在邻居发现协议NDP（neighbor discovery protocol，NDP）、区内IARP 路由协议中添加节点位置坐标，用GPSR 替代区间路由协议IERP；ZRPBL 协议包含先应式区内路由IARPWL（intrazone routing protocol with location，IARPWL）和基于位置的路由GPSR。数据由网络层转交给ZPRBL 协议进行处理。

图3 ZRPBL 协议体系架构

NDPWL（neighbor discovery protocol with location，NDPWL）由邻居发现协议NDP（neighbor discovery protocol，NDP）改进而来，运行在数据链路层，用来发现节点的直接邻居节点。

ZRPBL 的工作机理在此不再赘述。

1.2 CRP-CS-RL 协议设计

CRP-CS-RL 是一种基于簇结构和强化学习的分簇路由协议，其由ZRPBL 的体系架构改进而来，簇内采用基于簇结构的先应式路由协议PRP-C；簇间采用基于位置和链路质量Q 学习的自适应路由协议ARP-L-Q。设计的CRP-CS-RL 协议体系架构如下页图4 所示。

图4 CRP-CS-RL 体系架构

在实现高效分簇的基础上，CRP-CS-RL 中的邻居发现协议功能由HELLO 机制实现，其运行在MAC 层，HELLO 机制格式如下：

CERT，ID，Status，Neighbor_table，Parameters，Timestamp，Location

其中，CERT是节点v的证书；ID是节点v的ID号；Status 字段用于标记节点的状态；Neighbor_table中包含了该节点的邻居列表，通过交换邻居列表，可获得邻居信息，通过检测邻居节点的邻居列表是否包含自身，获知各节点之间的链路连接情况；Parameters 包含簇首选举所需要的参数权值；Timestamp 是时间戳；location 是节点当前位置信息。

1.2.1 CRP-CS-RL 协议组成

CRP-CS-RL 协议由簇内PRP-C 路由协议和簇间ARP-L-Q 路由协议组成。

1）PRP-C 路由协议

簇内路由协议PRP-C 的设计拟选用参考文献［12］所提出的适用于高动态网络环境中的改进型OLSR 路由协议，该协议能有效降低通信时延和网络控制开销，进而实现簇首与簇内成员的高可靠通信。簇内路由协议的任务是为簇内提供路由信息以完成簇内路由，只有在查询簇内路由表中不存在可用的路由，才会开始簇间路由寻找过程。节点运行PRP-C 协议需要维护3 个表格：链路状态表、路由表和邻居表。

2）ARP-L-Q 路由协议

簇间路由协议采用ARP-L-Q，其通过对位置信息和链路质量进行Q 学习后进行路由决策，寻求出最短路径和最佳链路。此外，ARP-L-Q 维护着到虚拟骨干网中所有簇首、网关节点的最新路由，它在邻居表的基础上，增加了虚拟骨干网的簇首和网关作为下一跳转发节点的备选项，即通过自身路由表查询到目标节点，因此，大大减小了其判断下一跳的时间和能耗，同时扩大了下一跳的选择范围，增大了找到合适转发节点的概率，从而提高转发成功率和缩短了通信时延。

1.2.2 CRP-CS-RL 协议的工作机理

无人机节点通过HELLO 消息周期性地交互自身位置更新信息，因此，节点维持着所有邻居节点的位置信息。汇聚节点（最高簇首）通过周期性地广播生成由簇首和网关组成的虚拟骨干网路由表。在簇内，节点定期交互的HELLO 包中含有其位置信息和邻居列表信息等，HELLO 包将收集到的数据传给PRP-C，用于更新PRP-C 的路由表和链路状态表；当PRP-C 路由信息更新后，ARP-L-Q 根据PRP-C 邻居表生成自身所需邻居表，ARP-L-Q 在需要转发数据时，依据自身维护的路由表和邻居表计算选择转发节点。同时，PRP-C 在簇内定期广播链路状态表，簇内节点以此更新自己的链路状态表并生成最新路由表，每个簇成员由此维护着簇内详细的路由信息和到本簇首的信息；在簇间，每个簇首维护着簇内详细的路由信息和到虚拟骨干网所有簇首和网关节点间的路由信息。

当数据从网络层转交到CRP-CS-RL 协议处理时，先依次查找PRP-C、ARP-L-Q 维护的路由表中是否有通往目的节点的路由，如果有，则直接按照路由表转发并设定为己路由；如果没有，则设定为未路由并调用ARP-L-Q 协议进行转发。

在启用ARP-L-Q 协议后，进入基于位置信息和链路质量Q 学习的路由决策模式源节点，将最新接收到的邻居节点参数权值F（HELLO 消息中的Parameters 项的节点度、邻居节点稳定度、剩余能量和丢包率4 种因素）和相应HELLO 消息的传输成功率C相乘，得到瞬时回报R，依据瞬时奖励R更新当前转发节点对其邻居节点的链路质量估计Q值；再结合目的节点位置数据计算距离因子，将各邻居节点距离因子和对应的最新Q值相乘得到折扣Q值，然后以此瞬时奖励更新其邻居节点Q值表，选择获得最大折扣Q值的节点作为下一跳进行数据转发；当下一跳节点收到数据后，结合目的节点信息，继续根据自身维护路由表和邻居表信息计算选择下一跳转发节点，重复以上过程直到数据分组到达目标节点。

邻居表管理邻居的地理位置信息、链路状态以及收到的周期性HELLO 消息所交互的Q值等。

2 基于位置和链路质量Q 学习转发策略

2.1 学习算法概述

强化学习，是一类求解序贯优化决策问题的有效方法，它利用环境的评价性反馈信号来调整自己的行为选择策略，将极大化期望的回报作为学习目标。通过强化学习，一个智能体可以清楚在不同的状态采取不同的行为。因此，强化学习是从环境状态到动作的映射学习，这里的映射可称之为策略。

Q 学习是一种典型的强化学习算法，它是由Watkins于1992 年提出来的一种模型无关的基于瞬时策略的强化学习方法，又称为离策略（Offpolicy）TD 学习，这一特点使得它适合在资源受限的移动设备上运行。

学习模型由以下4 个要素构成：

3）瞬时奖励（s，a）：时刻在状态s做动作a得到的瞬时回报；

4）智能体选择策略∏。

学习算法结构图如图5 所示，它由环境和智能体两部分组成，智能体按照一定的策略执行动作探索环境，环境则给出相应的回报值。

图5 Q 学习算法结构图

学习通过与环境交互获得奖惩进行自适应学习，能够适用于无人机集群5G 通信网多变的环境，源节点通过对位置和链路质量进行学习以指导路由转发节点选择，根据获得的瞬时奖励调整其转发策略，从而获得最优转发路径。

2.2 基于位置和链路质量学习算法

本文所提出的基于位置和链路质量的学习算法包含两个过程，基于学习的链路质量估计以及基于位置的路由决策，算法流程如图6 所示。

图6 基于位置和链路质量Q 学习的算法流程

2.2.1 基于Q 学习的链路质量估计

在ARP-L-Q 中，每个通信节点对应状态集中的一个节点状态s，其邻居表中的节点是通信节点的过渡状态s，转发节点的选择对应可能的动作'，即动作集合是选择向一跳范围邻居节点集合中的某个节点转发分组的动作集合。每个通信节点通过建立邻居表维护空间大小为其一跳邻居数目的值表。当前转发节点进行下一跳选择时，当前节点将接收到最新的邻居节点参数权值F（HELLO消息中的Parameters 项的邻居节点稳定度、节点度、剩余能量和丢包率4 种因素）和相应HELLO 消息的传输成功率C（包括前向传输和后向接收车成功率）相乘，得到瞬时奖励R。R计算公式如下：

依据瞬时奖励R更新当前转发节点对其邻居节点链路质量估计：

2.2.2 基于位置的路由决策

结合目的节点位置数据计算距离因子，其计算公式如下：

将各邻居节点距离因子和对应的Q值相乘得到当前节点的邻居节点折扣Q值，其计算公式如下：

在当前节点的邻居节点中选择获得最大折扣Q值作为下一跳转发节点。

目前，大多数路由算法及其变种算法的学习率，一般设为基准学习率0.5；自适应全回波路由（adaptive Q-routing full echo，AQFE）算法和路由记忆算法AQFM-M（AQFE with route memory，AQFM-M）的学习率参数一般设置在0.5～0.7 之间；文献［18］提出的改进AQFM-M 路由算法学习率在参数［0 1］可自适应调节；无人机集群5G 通信网要求快速路由，为降低历史值对当前路由决策的影响，提升学习算法的收敛速度和降低路由延迟，学习率应设置一个合适值；为了适应基于无人机集群的高动态网路特性，提高未来转移状态的稳定性，本文参考文献［9］根据与邻居节点之间的距离设定折扣率，如果与邻居节点d在下一个HELLO 消息包间隔之后不超过组网模块通信半径，设定为0.6，如果超过，则设定为0.4。取值公式如下：

这时值的更新式为：

在学习的探索阶段，ARP-L-Q 周期性地交互节点状态信息和位置信息并储存更新；在利用阶段，ARP-L-Q 利用存储的信息计算瞬时奖励以决策下一状态（更新Q值）。当有数据分组需要传输时，节点直接在邻居列表中查找具有最大折扣Q值的邻居节点，将其作为转发节点，以此类推，直到到达目的节点，完成整个路由的过程。

2.2.3 算法收敛性分析

由于学习算法模型是一个确定的马尔可夫决策过程，因此，算法的瞬时回报是有界的，且遍历了所有相邻节点，选择转发邻居节点这一动作反馈的瞬时回报值最终通过HELLO 包交互。

在建立ARP-L-Q 协议的过程中，网络中的每个节点都在进行学习更新Q表，当网络拓扑发生变化时，Q值表也会相应变化，节点通过不断地学习迭代更新直到找到最优的路径。

3 仿真实验与性能分析

由于分簇路由协议是在ZRPBL 基础上改进的，且ZRPBL 中的IARPWL 并没有明确指定采用何种协议，考虑本文所设计的CRP-CS-RL 协议中，簇内路由协议PRP-C 拟选用参考文献［12］所提出的改进型OLSR 协议，而研究重点为簇间路由协议ARP-L-Q，故本文主要对簇间路由协议进行仿真实验，以验证基于位置和链路质量学习的算法性能，即在仿真实验时，将本文所研究的簇间路由协议ARP-L-Q 与ZRPBL 中的区间路由协议GPSR、新近GACB 路由协议进行性能比较和分析。

3.1 ARP-L-Q 协议仿真设计

图7 是ARP-L-Q 协议仿真实验图，ARP-L-Q协议的仿真实验首先是通过HELLO 机制完成信息的交互；其次是利用接收的HELLO 消息的Parameters 项和Location 项来估计链路质量和计算距离因子；最后是更新所有邻居节点的Q值供路由决策使用。确定协议的实现过程后，为验证算法的可行性，通过MATLAB 对基于位置和链路质量学习算法进行仿真得到某一分簇时刻各节点邻居节点的折扣值表；然后利用OPNET 14.5 对ARP-L-Q 协议进行仿真建模，依据对应要求逐一建立网络模型、节点模型和进程模型，其中基于位置和链路质量学习算法由OPNET14.5 中的进程模型中的from_mac 状态的HELLO 包处理函数实现，最后完成性能仿真、验证和分析算法性能。

图7 ARP-L-Q 协议设计与实现的技术路线图

3.1.1 值表的仿真

图8 是某一分簇周期30 架无人机构成的5G通信网分簇示意图，网络分成了6 个簇，其中黄色图形“◇”为最高簇首（汇聚节点），5 个红色菱形“*”为簇首，9 个绿色三角形“Δ”为网关，其余蓝色“+”为簇成员。最高簇首编号为“◇”，其余节点编号如图8 所示。

图8 某一分簇周期30 架无人机构成的5G 通信网分簇图

表1 是通过MATLAB 仿真得到的某一分簇周期内时刻各节点所有邻居节点的折扣值表。

表1 Qu 值表

续表1

3.1.2 ARP-L-Q 协议仿真建模

1）ARP-L-Q 协议的网络域建模及参数配置

ARP-L-Q 协议性能仿真环境是OPNET 14.5，在基于无人机集群的5G 通信网实现高效分簇的基础上，网络模型中的各项参数设置如表2 所示。

表2 仿真参数

如配置表中参数所示，在网络中设置30 个无人机节点，覆盖15 km×15 km 大小的中型城市区域，为了支持5G 通信的500 km/h 移动特性，每个节点的运动速度范围设定为0 km/h～500 km/h，数据包长度为10 kb，包速率为1 个/s～20 个/s，组网链路业务传输速率为100 Mb/s，由于无人机载荷能力有限，无人机编队的组网模块有效通信半径通过功率调整设定为3 400 m。

图9 是无人机集群5G 通信网仿真场景模型。

图9 ARP-L-Q 协议网络模型

2）ARP-L-Q 协议的节点域建模

图10 是与协议栈模型相对应的ARP-L-Q 协议节点模型。为构建高动态网络场景，协议中增加了一个通过编程来实现的mobility 模块，用于定义每个节点的移动模型。

图10 ARP-L-Q 协议节点模型

为构建高动态网络场景，需建立无人机路径规划得到的飞行轨迹和生成的位置数据库模型，协议中增加了一个通过编程来实现的mobility 模块，用于定义每个节点的移动模型，专门处理位置的变更。

3）ARP-L-Q 协议的进程域建模

ARP-L-Q 协议route 模块进程模型如图11 所示。route 模块对应节点模型里的网络层，用于运行路由协议实现路由的功能。

图11 ARP-L-Q 协议进程模型

其中，init 状态为初始化各类状态变量；from_source 状态为处理应用层到来的数据包，查找到目的节点的路由信息和具有最大值的下一跳节点，将其发给MAC 层；send_hello 状态为将本地链路信息（邻居节点地址、链路状态、链路质量信息、地理位置信息、最大Q值等）写入HELLO 分组，完成定期发送HELLO 分组的任务；from_mac 状态处理MAC层到来的HELLO 包或数据包，若到来的是HELLO包，进入HELLO 包处理函数，函数的主要功能是添加或更新本地链路信息表、邻居表，互通传输成功率信息及地理位置信息，以计算链路质量和距离因子，更新Q值；若到来的是数据包，进入数据包处理函数，首先根据包序号鉴别该数据包是否已接收，如果已接收，则销毁，否则，继续查询本节点是否是该数据包的目的节点，如果是，则发往应用层的statistic 模块进行相关数据的统计，否则查找路由表和邻居表，若找到到达目的节点的路径或具有最大Q值的下一跳，将数据包发往该下一跳节点，否则将包删除。

由于无人机节点的快速移动导致网络拓扑的快速变化，因此，必须考虑拓扑快速变化对路由转发的影响，下面介绍mobility 模块的进程模型，如图12 所示。

图12 mobility 模块进程模型

mobility 模块完成节点移动模型的构建，由于已经提前进行了无人机的路径规划，得到了无人机的飞行轨迹和位置数据库，因此，无人机的运动轨迹和位置都是可预测的。采用核心函数访问节点位置属性的方法将无人机飞行轨迹编程代码写入mobility 中，由进程域执行飞行轨迹设置代码。

通过上述模型建立，实现了无人机集群5G 通信网络仿真模型的构建。

3.2 仿真结果与分析

3.2.1 评价指标

评估路由协议性能指标有路由建立和维护开销，指标越小越好；分组送达率，即目的节点应用层所接收到的分组数目与源节点应用层所发送的分组数目的比值，该指标越大越好；平均端到端时延就是所有成功传送分组时延的平均数，时延越小越好；吞吐量，即单位时间内成功收发的数据量，该指标也是越大越好；丢包率，越小越好。

首先，ARP-L-Q 协议合适学习率的设置通过端到端时延和分组送达率来验证。其次，不失一般性，ARP-L-Q 协议的高动态、低时延和高可靠性通过采用不同移动速度下的平均端到端时延和丢包率这两个典型指标来评估；ARP-L-Q 协议的自适应性能则通过采用不同发包速率下的分组送达率、端到端时延和网络控制开销这3 个典型指标来评估。最后，为了更加有效地评估本文设计的ARP-L-Q 路由协议性能，选取平均端到端时延、丢包率、分组送达率和控制开销4 个方面的评价指标，与GPSR和GACB 两种路由协议进行性能比较和分析。

3.2.2 学习率设置

ARP-L-Q 协议的学习率设置仿真实验按照表2 进行参数配置，指定为目的节点，其余节点将一个10 kb 的数据包以10 个/s 的包速率定期地传输给该目的节点，无人机节点飞行速度设定为36 km/h，验证ARP-L-Q 协议在不同学习率下的端到端时延和分组送达率。

图13 反映了学习率对端到端时延的影响。

图13 ARP-L-Q 协议在不同学习率下的端到端时延

图14 反映了学习率对分组送达率的影响。

图14 ARP-L-Q 协议在不同学习率下的分组送达率

综合图13和图14 可以得出，学习率较小时，算法收敛速度慢，端到端时延和分组送达率优化效果不明显；学习率过大，容易越过最优值发生震荡。在这几组比较的数据中，当学习率为0.6 时，分组送达率最高，端到端时延最小。因此，在接下来的性能仿真实验中学习率都设为0.6。

3.2.3 高动态、低时延和高可靠性能验证

ARP-L-Q 协议的高动态、低时延和高可靠性能仿真实验按照表2 进行参数配置，其中，为接收节点，其他节点将一个10 kb 的数据包以10 个/s 的发包速率传输给该接收节点，无人机节点飞行速度设定为0 km/h～500 km/h，对比GPSR、GACB和ARP-L-Q 3 种协议在节点不同移动速度下的端到端时延和丢包率。

图15 反映了节点移动速度对端到端时延的影响。随着节点移动速度的增大，GPSR、GACB和ARP-L-Q 协议的端到端时延都会增大，这是由于节点的高速移动造成链路的快速变化，增大了节点选择最佳下一跳的时间，进而使端到端时延增大；但ARP-L-Q 的端到端时延总是小于GPSR和GACB。这是因为ARP-L-Q 建立在高效分簇的基础上，同时依靠自身维护的路由表和邻居表计算选择下一跳转发节点，有效降低了通信时延。

图15 GPSR、GACB和ARP-L-Q 协议在节点不同移动速度下端到端时延对比图

图16 反映了节点移动速度对丢包率的影响。随着节点移动速度的增大，GPSR、GACB和ARP-L-Q协议的丢包率都会增大，但ARP-L-Q 的丢包率总是小于GPSR和GACB。这是因为ARP-L-Q 建立在高效分簇的基础上且不断地在对邻居节点的链路质量进行学习更新，得到最优的转发路径。

图16 GPSR、GACB和ARP-L-Q 协议在节点不同移动速度下丢包率对比图

3.2.4 自适应性能验证

ARP-L-Q 协议的自适应性能仿真实验按照表2 进行参数配置，其中，节点为接收节点，其他节点将一个10 kb 的数据包以不同的发包速率传输给该接收节点，对比GPSR、GACB和ARP-L-Q 3 种协议在不同发包速率下的自适应性能。

图17 反映了分组发包速率对分组送达率的影响。随着分组发包速率的增大，GPSR、GACB和ARP-L-Q 协议的分组送达率都会减小，这是由于增大分组发包速率容易造成汇聚节点和簇首节点网络负载过大，进而增大数据包碰撞概率导致分组送达率减小；但ARP-L-Q 的分组送达率总是大于GPSR和GACB。这是因为ARP-L-Q 不断地在对邻居节点的链路质量进行学习更新，得到最优的转发路径。

图17 GPSR、GACB和ARP-L-Q 协议分组送达率对比图

图18 反映了分组发包速率对端到端时延的影响，随着分组发包速率增大，GPSR、GACB和ARPL-Q 协议的时延都会增大，但ARP-L-Q 协议始终小于GPSR和GACB 协议，这同样是因为ARP-L-Q依靠自身维护的路由表和邻居表计算选择下一跳转发节点，有效降低了通信时延。

图18 GPSR、GACB和ARP-L-Q 协议端到端时延对比图

图19 反映了分组发包速率对控制开销的影响。随着分组发包速率的增大，GPSR、GACB和ARP-L-Q 协议的控制开销都会减小，但ARP-L-Q协议的控制开销始终略大于GPSR 而小于GACB，这是因为ARP-L-Q 需要定期更新虚拟骨干网路由表和邻居表，而GACB 需要维护簇内路由表、虚拟骨干网路由表和邻居表，GPSR 无需维护路由表。

图19 GPSR、GACB和ARP-L-Q 协议控制开销对比图

综合实验结果和分析可知，ARP-L-Q 协议比GPSR、GACB 协议更能适用于无人机集群5G 通信网高动态重构、高稳定可靠和低通信时延的特性和需求，其不仅有效提高了分组送达率，且通过基于位置和链路质量学习的优势，降低了网络控制开销，通过自身维护的路由表和邻居表有效降低了通信时延，具有较好的自适应性能。

4 结论

无人机集群5G 通信网，不仅具有无人机集群网络高动态、能量受限等特点，还要面临5G 空中通信网络多跳性、对可靠性和通信时延要求高的特性。在实现高效分簇的基础上，本文提出一种基于簇结构和强化学习的分簇路由协议，簇内采用基于簇结构的PRP-C 路由协议，簇间采用基于位置和链路质量学习的自适应路由协议ARP-L-Q，簇间路由ARP-L-Q 通过对链路质量和位置信息进行学习，得到折扣值表供路由决策使用。仿真结果表明，该协议不仅能够提高转发成功率和缩短端到端时延，提升通信服务质量，而且能够较大缩减开销，节省能量。总之，无人机集群应急通信系统在民用应急通信领域和军事机动通信领域均有着巨大的应用前景，协议研究具有一定的应用价值。