APP下载

基于注意力机制ConvLSTM的UAV节能预部署策略

2022-03-30汪智平陈前斌

电子与信息学报 2022年3期
关键词:功耗时空注意力

唐 伦 蒲 昊 汪智平 吴 壮 陈前斌

(重庆邮电大学通信与信息工程学院 重庆 400065)

1 引言

面对移动通信业务流量的快速增长,第6代移动通信(the 6thGeneration, 6G)系统提出了UAV使能的空间物联网络及空天地一体化等构想[1]。在这些构想中,UAV被作为能够给移动终端提供无线接入的空中基站。UAV作为一种辅助移动通信的手段,具有高度灵活性的特点,解决移动业务快速增长而带来的网络拥塞,适应按需激增的服务,能够提供更多视距(Line of Sight, LoS)传输可能性,使系统容量显著提高。

现已有大量工作深入研究了UAV系统的最优部署。文献[2]利用最优传输理论研究了UAV的最佳覆盖及分区及位置,文献[3,4]研究了节能的多UAV轨迹优化和公平性覆盖问题。文献[5]研究了单UAV的自适应流量感知部署。上述研究假定用户业务分布是先验已知且不随时间变化,而该种假设在实际场景中很难成立,因为蜂窝流量的时空分布往往具有高度时变形和非线性。为了实现UAV的按需部署,运营商需要对流量的时空分布作出精准预测。一些研究[6,7]运用差分自回归移动平均(Autoregressive Integrated Moving Average, ARIMA)及其改进的方式对流量时间序列进行了预测。然而这种模型驱动方式依赖先验假设,对参数十分敏感,无法把握高维数据复杂的非线性关联。数据驱动的方式能主动学习数据间的复杂内联,可以分为传统的机器学习和深度学习。基于传统的机器学习,文献[8,9]提出用支持向量机(Support Vector Machine,SVM)对时间序列进行预测,文献[10]提出一种可扩展的高斯过程框架实现大规模流量预测。深度学习因其具有更强的非线性表达能力而被作为当前主流的数据分析手段。文献[11]提出用小波变换将原始流量分解,用长短期记忆(Long Short Term Memory, LSTM)网络完成对流量的预测。文献[12]提出了一种混合的门控递归单元网络(Gated Recurrent Nerwork, GRU)流量预测模型。文献[13]提出利用深度信念网络和高斯模型分别建模网络流量时间序列的低通和高通分量进行流量预测。上述模型本质上是时间序列分析方式,忽略了流量的空间相关性。

针对上述问题,本文提出一种UAV节能预部署策略,具体来说:

(1) 提出一种基于注意力机制卷积长短期记忆网络(ConvLSTM with Attention mechanism,A- ConvLSTM)深度时空网络模型,在ConvLSTM上融合注意力机制,更好地实现对流量分布的时空特性建模并完成预测;

(2) 提出一种UAV节能部署(Energy-Efficient Deployment, EED)算法,基于流量预测结果,以最小化UAV能耗为目标建立优化模型,将目标问题拆解成两个子问题并迭代求解,在满足用户下行接入速率要求的前提下,求解UAV的最佳分区及位置。

2 系统场景

如图1所示,集合为J={1,2,...,J}的UAV集群覆盖在区域A的上空。每一个UAV采用正交频分多址的接入方式并使用波束成形技术为每个位于其覆盖范围内的地面用户分配唯一下行信道,不考虑UAV与用户信道间的干扰。运营商需要移动UAV以满足不同地区用户的需求,然而UAV电量受限,需要在数量限制下尽可能降低能耗。UAV的算力限制与移动性使其无法执行区域整体的深度时空网络模型训练与EED算法,因此由边缘服务器执行流量与用户分布的在线学习与UAV调度。边缘服务器至少与一架UAV通信,并借由UAV集群路由将调度信息发送至整个UAV集群。

图1 系统场景

鉴于流量分布的时变特性,将时间离散成间隔相等的时刻,在时刻t到来前,边缘服务器对A的流量与用户分布作出预测并将调度信息发送给UAV以完成分区与位置的调整,在时刻t~t+1内(间隔为 Δt)UAV的分区及位置保持不变。凭借其移动性,UAV在空中可以很快地飞到调整位置,当Δt很长时(1 h),UAV大多时间处于悬停阶段,飞行时间可忽略不计。

3 流量分布预测

3.1 流量时空数据

本文分析了文献[14]所提供的流量数据集,该数据集包含了中国某城市数天内的超文本传输协议流量请求-响应记录。每条记录包含了某个基站的地理位置(经纬度)、时间戳、关联用户数和流量大小,本文选择其中8 km×8 km的范围作为区域A。将区域A离散地划分成L×W大小相等的兴趣区域(Area of Interest, AoI),其中L=40,W=40,并将时间间隔内位于同一AoI内的所有基站流量之和作为该AoI的流量值,所有UAV关联用户数之和作为该AoI的用户数(鉴于流量分布与用户分布均遵循时空相关性,本文用两个相同结构的深度时空网络对二者分别进行预测,在分析数据特点和网络结构时,简便起见只对流量数据进行分析)。该区域在T个时间间隔内的流量时空序列可表示为3维张量D={Dt|t=1,2,...,T}∈RL×W×T。Dt ∈RL×W是t时刻区域A的流量矩阵,有

3.2 A-ConvLSTM模型

流量预测问题可以表示为

3.2.1 ConvLSTM层

ConvLSTM[15]在LSTM网络的基础上引入卷积操作,以提取数据的空间相关性,其单元(Cell)如图3所示。

图2 A-ConvLSTM网络结构

图3 ConvLSTM单元结构

ConvLSTM每个时间单元都有一个记忆单元Ct以积累状态信息。Ct可以通过3个具有参数的控制门进行访问和修改,即输入门it、忘记门ft和输出门ot。当一个时间步数据输入到ConvLSTM单元时,如果输入门it被激活,它所携带的信息可以存储到Ct;如果忘记门ft被激活,表示忘记过去的单元状态。最终隐藏状态Ht由输出门ot控制,它决定单元的输出Ct是否应该传播到最终状态。各个门及Ct, Ht的运算规则为

3.2.2 注意力层

注意力机制最早由文献[16]提出,之后被广泛应用于自然语言处理领域。注意力本质上是一个加权求和的过程,其通过自动分析数据的局部特征与预测结果之间的相关性,使得神经网络可以选择性地关注输入数据的重要特征。不同时刻的流量对于预测结果有着不同程度的影响,ConvLSTM在执行预测任务时,通常是将隐藏状态通过卷积得到预测输出,该种方式学习到的卷积核参数是固定的,不会随着输入的改变而改变,无法检测到不同时刻的流量分布对于最终预测结果的影响。为解决该问题,本文在ConvLSTM基础上加入时间层面的注意力机制,以学习整体网络对不同时刻的隐藏状态Ht的关注程度,自动完成由输入到注意力权重的分配,使得网络更多地关注关键性信息。注意力层的结构如图4所示。

图4 注意力机制

鉴于隐藏层状态Ht是3维张量,要实现其到注意力权重的映射,首先对其使用单核卷积以实现通道维度的压缩,即有

4 UAV节能预部署

边缘服务器在预测区域A的流量和用户分布后,需要对下一时刻的UAV位置及覆盖分区进行优化,以最小化UAV系统功耗。整体考虑AoI内所有用户,同一AoI内用户资源均等,UAV覆盖某一AoI表示关联其中所有用户。

4.1 空对地下行信道建模

4.2 节能部署建模

UAV可以调整自身空间位置以改变与用户间的路径损耗,从而优化发射功率,而其总功率和频带资源受限,因此需要与其他UAV协调覆盖分区。考虑到UAV大部分时间处于悬停阶段,相比于维持自身悬停的功耗,UAV时刻间移动飞行的功耗忽略不计。则最小化总UAV系统总功率可以建模为

其中,C(j)为UAVj覆盖的AoI集合。约束条件式(15a)保证了各个UAV之间的覆盖区域不重复;式(15b)保证了每个UAV为覆盖区域AoI提供的发射功率不超过自身最大功率;式(15c)保证了每个UAV关联的用户数不超过其本身频带资源所支持的最大用户数。由于自变量之间的耦合性,难以对C(j)与(xj,yj,hj)同时求解,因此将式(15)分解为两个子问题P1与P2,并设计一种EED算法迭代求解。

P1:固定每个UAV的位置(xj,yj,hj),求解各UAV之间的覆盖分区,即

4.3 问题求解

4.3.1 P1求解

4.3.3 算法收敛性与复杂度分析

在执行EED算法迭代求解P1与P2,若无法找到优于上一次迭代中P1的解时,算法终止。因此,每次迭代中P1目标函数是单调递减的。P2目标函数式(23)关于(xj,yj)是严格的凸函数,式(24)是其最优点,因此式(23)是严格单调不递增。因此P1与P2整体迭代遵循严格单调不递增,算法的收敛性得到了保证。在算法停止迭代时可能出现部分UAV功率或接入用户数超出负载限制的情况,表明现有数量的UAV无法实现区域的全覆盖,则增加UAV数量重新执行迭代算法。EED算法流程如表1所示。

表1 EED算法

以次梯度算法求解P1时,需要进行复杂度为O(1/ϵ2)的次梯度下降得到ϵ-次优解,而每次梯度下降时需要对每一个UAV遍历与其关联的AoI,因此求解P1的算法复杂度为O(IJ/ϵ2);求解P2时,需要遍历每一个UAV的所有关联AoI,因此算法复杂度为O(JI)。迭代算法总体复杂度为O(kI2J2/ϵ2),其中k是迭代次数,与初始UAV位置选取有关。

5 实验结果分析

5.1 数据预处理

本文以AoI为单位沿时间维度使用线性插值法填补缺失数据,并用滑窗法整理样本。为加速模型训练过程并缩小误差,对于每一个样本采用Max-Min方法归一化至[0,1]间并将其量化为20个单位区间。仿真环境为Keras 2.3.1+tensorflow 1.14。模型训练的权重优化器选取常用的Adam优化器。

5.2 预测模型基线算法对比

本文选取了ConvLSTM, LSTM, SVR, ARIMA作为A-ConvLSTM对比模型。由于后三者适用于2阶张量时间序列处理,故将原始数据中部分区域数据重塑为2阶张量用于后三者训练评估。采用均方根误差(Root Mean Square Error, RMSE),绝对平均误差(Mean Absolute Error, MAE)作为评价指标,计算公式分别如式(25)、式(26)所示

图5(a)和图5(b)分别显示了5种预测模型的RMSE和MAE指标的表现。A-ConvLSTM, ConvLSTM, LSTM, SVR, ARIMA的两项指标相继增高,性能相继降低。作为传统时序处理模型,ARIMA无法大量数据主动学习到复杂关联,因此性能表现最差;SVR与LSTM模型作为机器学习模型的代表,具有较好的非线性表达能力,因此获得了比ARIMA更好的性能;A-ConvLSTM及ConvLSTM在LSTM, SVR基础上引入了对空间相关性的建模,因此获得了更好的性能。此外得益于注意力机制对关键性特征的更多关注,A-ConvLSTM性能略优于ConvLSTM,其RMSE和MAE分别降低了8.75%, 14.26%。

图5 模型性能指标对比

图6给出了注意力机制的加入对ConvLSTM模型训练的收敛情况的影响。ConvLSTM约在70轮次迭代后损失函数(Loss)下降停滞;结合注意力机制后,A-ConvLSTM约在110轮次迭代后Loss下降停滞。A-ConvLSTM因其更复杂的结构需要更多的迭代轮次,但最终收敛且具有更低的Loss,模型是具有有效性的。

图6 模型训练轮次与Loss变化

图7 UAV系统总功率对比

5.3 EED算法性能

在EED算法仿真中,每个UAV提供5 GHz频段的下行信道接入,天线增益为10 dB,子载波带宽为15 kHz,总带宽为10 MHz。式(11)中µLoS=1.6,σLoS= 8.41,µNLoS= 23,σNLoS= 33.78,式(12)视距链路参数a=9.6,b=0.2[18]。UAV的最大发射功率为30W。噪声功率谱密度为–174 dBm。为对比EED算法增益,本文另外提出一种均匀分布(Uniform Distribute, UD)UAV部署策略。该策略无法预测地区的蜂窝流量的时空分布,所有UAV以相等的覆盖面积均匀地排布于整个地区,且位置保持不变。该种策略难以保证式(15b)、式(15c)的约束条件,可能会出现部分UAV超出负载限制的情况。

图7给出了EED算法的策略与UD策略(以下简称EED与UD)在不同的UAV数量下的系统总功耗。结果表明,UAV功耗随着数量增多呈现下降的趋势,因为越多的UAV会有越小的覆盖面积,与用户间的链路损耗也会越小,相应发射功率会越小。相比于UD,EED功耗得到了显著的降低,在UAV数量较少时尤为明显。在UAV数量于[36, 144]范围内,EED相比于UD策略使功耗得到了11.7%~2.25%的降低(总功耗得到120~13.2 W的降低,平均功耗得到了3.4~0.6 W的降低)。本文提出的EED能够在满足用户速率要求的同时带来较大的节能增益。图8给出了上述两种策略在不同的UAV数量下超出负载的UAV数量。可以看出EED能够以更低数量且无超负载的UAV实现区域A全覆盖,能够降低UAV的部署成本。

图8 超负载UAV数量对比

图9给出了不同UAV数量下,系统总功率随EED算法迭代次数的变化情况,其中UAV初始位置的选取参照UD,虚线代表迭代算法已终止。随着UAV数量的增多,算法收敛更快,结合图7得出因为UAV数量增多,算法增益降低,其解逐渐接近UD,故只需更少的迭代次数实现算法的收敛。

图9 EED算法迭代情况

6 结束语

本文提出一种基于流量预测的UAV预部署策略。该策略利用结合注意力机制的深度时空网络模型A-ConvLSTM以预测用户时空分流量需求,并提出一种节能部署算法优化UAV系统的部署,实现了在满足用户时变的流量要求前提下,最大限度降低UAV功耗。仿真结果表明,A-ConvLSTM能准确地把握流量与用户分布的时空变化;节能部署算法能显著降低UAV功耗,并能以更少数量的UAV实现区域的按需全覆盖。

猜你喜欢

功耗时空注意力
基于任务映射的暗硅芯片功耗预算方法
跨越时空的相遇
让注意力“飞”回来
镜中的时空穿梭
如何培养一年级学生的注意力
玩一次时空大“穿越”
揭开GPU功耗的面纱
A Beautiful Way Of Looking At Things
数字电路功耗的分析及优化
时空之门