常昊天，冯径，段超凡，颜超，夏凯文

(国防科技大学 气象海洋学院，江苏，南京 211101)

随着海洋探测需求的日益增长，海洋环境监测网络建设在不断发展[1]，海洋环境监测网络属于计算密集型网络应用，对资源受限的终端设备提出了巨大的挑战.虽然云计算的发展有效地满足了计算密集型网络应用需求，但云计算无法满足高实时性要求.为了解决这一问题，移动边缘计算(mobile edge computing, MEC)得到了广泛的研究，它利用网络边缘的计算资源提供高效、灵活的计算服务.然而，在典型的MEC场景中，边缘计算服务由蜂窝基站或WiFi接入点提供，无法为偏远地区提供无处不在的覆盖.在偏远地区，物联网设备可能会被广泛部署，以执行某些计算要求相对较高的应用，这会迅速耗尽汇聚节点的电量，且造成较大的处理延迟.由于缺乏地面接入网络覆盖，典型的边缘和云计算模式无法应用于此类场景.为此，Cheng等[2]建议采用空天地一体化网络(space-air-ground integrated network,SAGIN)架构来减轻远程物联网应用的计算负担，这是一种典型的网络数据多级传输架构.SAGIN将卫星网络、空中网络与地面网络相结合，提供无缝、灵活的网络覆盖和服务，可应用于智能交通系统、远程监控、灾害救援等领域，以及大规模高速移动互联网接入.SAGIN是一个由卫星网、空中网和地面网3个网段组成的多级异构传输网络，每个网段拥有不同的资源，受到不同的限制.空中网络节点可以作为外围服务器，为IoT设备提供低延迟的边缘计算；另一方面，卫星通信虽然可能具有较低的通信速率和较高的传输延迟，但可以通过无缝覆盖和卫星骨干网提供始终在线的云计算.

SAGIN被认为是解决未来移动通信网络中偏远、远程、大规模覆盖、移动数据增长、数据流量不均、骨干网僵硬等诸多问题的一种可靠技术.SAGIN的相关研究应用全部集中在地面和空域或天域的边缘层级，未涉及海洋应用背景.在海洋监测网络应用背景下，SAGIN面临着许多挑战.首先，空中网络的高移动性导致了信道条件和覆盖范围的动态变化；其次，SAGIN中不同层级的网段具有不同的网络条件和资源约束；最后，SAGIN中的地面网段模型显然无法应用于海洋背景中.因此，需要对SAGIN模型进行修改，且提出适合于解决海洋监测网络数据传输问题的传输机制.本文在基于海空天多网段的海洋监测传输背景下，首次提出了包含边缘计算卸载和计算资源分配的联合数据传输控制机制.

1 海空天综合数据传输网络系统模型

与物联网中使用SAGIN相类似，在海洋综合监测网络中对数据进行传输时，为减小网络整体的数据传输延迟，并提高回传数据的实时性和信息价值，也应使用多层级网络结构.因此，本文拟建立海空天平台综合数据传输网络(sea-air-space integrated network，SASIN)和海洋综合监测网络的多级传输控制机制，引入具有移动、通信和计算能力的无人机(unmanned aerial vehicle，UAV)作为边缘计算节点，基于海基、空基和天基3个数据传输层级，提高海洋探测数据的传输处理效率.

1.1 SASIN网络模型

在远程区域部署物联网设备以执行具有计算要求的特定任务，例如监控和视频监控.在所考虑的偏远地区，没有蜂窝覆盖，因此建立SASIN，以向物联网设备提供网络接入、边缘计算和缓存等网络功能，SASIN网络模型如图1所示.

在SASIN网络中，有3个网络层次，即海面网段、空中网段和空间网段.SASIN网络抽象可由图G表征为

G=(V,U,S,E)，

式中：V={vi|i=1,2,…,Nv}为浮标节点集合；U={uj│i=1,2,…,Nu}为UAV集合；S={sk|k=1,2,…,Ns}为卫星集合；E={(vi,uj),(vi,sk)|∀vi∈V,∀uj∈U,∀sk∈S}为浮标与UAV间、浮标与卫星间通信链路的集合.

浮标节点构成了海面部分，具有非常有限的能量和计算能力，采集水下传感器的原始探测数据，进行预处理和异常检测标注，按照下文所提出的多级传输控制机制，使用自身、UAV或者经由卫星使用云端对探测数据进行异常检测处理，最终将有效信息传输至数据中心；在空中部分，飞行的UAV可以充当边缘服务器，为地面用户提供边缘缓存和计算能力，UAV将所处理好的数据信息传回陆基基站，最终传至数据中心；在空间段，低轨卫星(LEO)提供目标区域的全覆盖，并通过卫星骨干网将海面浮标节点与云端相连.

[1-PLoS(r,h)]ηNLoS，

(1)

式中：h和r分别为无人机飞行高度和无人机与海面浮标之间的水平距离；ηLoS和ηNLoS分别为在LoS和NLoS链路的自由空间路径损耗的基础上产生的附加损耗；fc为载波频率，c表示光速；PLoS为无人机-海面链路的视线概率，可以通过式(2)得到

PLoS(r,h)=1/[1+ae-barctan(h/r)-a]，

(2)

式中：a,b,ηLoS,ηNLoS为环境相关变量，在偏远地区通常取4.88,0.43,0.1,21[5].此外，无人机-海面通信使用总带宽为B的WiFi协议.每个浮标获得的带宽由式(3)计算为

Bi=ρBξ(n)，

(3)

式中：ρ为WiFi吞吐量效率因子；ξ(n)为WiFi信道效用函数，是关于浮标数量n的递减函数.因此，即时无人机-海面间的数据速率可以通过式(5)获得

(4)

1.2 计算卸载模型

在SASIN网络中，有M个浮标和N种不同的海洋要素探测数据，每个浮标处理N种不同的海洋要素数据.不同海洋要素数据具有一定的优先级，要素序数较小的数据将比序数较大的更早地被发送/处理.对于数据类型j，输入数据和工作负载分别用Hj和Zj表示.

(5)

(6)

当一个未完成的任务没有在时隙t被调度时式(6)中的不等式成立.如果任务Wij在时间t被本地处理或卸载到云上，认为任务可以在一定的延迟下完成，并且mij(t)=0.但是，如果Wij卸载到UAV边缘服务器，它可能无法完成并在t结束时完成，主要是因为如果将多个任务卸载到一个UAV边缘服务器，其中一些任务可能无法在时间段内完成.

1.3 成本模型

计算卸载旨在最小化系统成本，系统成本包括延迟成本及能耗和服务器使用成本.

① 延迟成本：如果任务Wij被安排在时隙t，则可以根据卸载决策计算延迟.如果任务计划在本地处理，则延迟为

(7)

(8)

(9)

② 能源和服务器使用成本：本地处理Wij的能源成本可以通过式(10)计算

(10)

如果在时隙t，任务Wij被卸载到UAV，能量和服务器使用成本可以通过式(11)得到

(11)

式中α为UAV使用成本相对于传输能耗的权重.类似地，云上能耗和服务器成本为

(12)

1.4 数据优先级定义

2 多优先级数据传输控制机制

2.1 虚拟机计算资源分配机制

在时隙t中，可以将多个任务卸载到一个边缘服务器的多个VM中并行执行，以减少处理延迟.一个VM执行特定要素数类型任务.因此，本节研究虚拟机分配问题，选择边缘承接的任务以及将计算资源分配给不同的虚拟机.由于边缘服务器的总计算资源是固定的，因此需共同优化无人机边缘服务器中的虚拟机分配和任务调度，以减少系统总延迟.

s.t.

式中tm,n为数据m的任务n的延迟要求，tm,n可以通过式(13)得到

tm,n=ε/ξm,n，

(13)

式中ξm,n为任务Wij的信息价值.

由此可见，这是一个难以求解的混合整数规划问题.它包括虚拟机计算资源向量C和0～1整数矩阵Y.即使假设C是已知的，剩余子问题仍然是一个具有0～1整数约束的二次问题，这对于非正定矩阵是NP困难的.该问题通常用特定的松弛方法重新构造，然后用凸优化技术求解，这种非在线方法需要大量的迭代，实时性较差.因此，本节设计一个有效的低复杂度的虚拟机资源分配算法来获得次优解，如图2所示.

cm=min{(nZm)/tm,n}，

(14)

(15)

然后，按式(16)再次为VM分配cm，重复直到满足约束条件，并且获得C和任务调度Y，

(16)

非计划任务则由式(17)选出

(17)

最坏情况需要N′(N′+1)/2 次比较，其中N′是边缘服务器的总卸载任务数.

2.2 计算卸载调度机制

为SASIN网络系统设计一种在线计算卸载方法，计算任务被安排在本地处理，卸载到UAV边缘服务器，或通过卫星卸载到云服务器，以最小化任务延迟、能耗以及服务器的使用成本.将计算卸载决策建模为Q-learning过程，定义为结构体(,,,)，其中代表系统状态集合，代表动作集合，代表状态转移概率，则代表在系统某状态s∈下采取动作a∈的奖励或代价函数.SASIN计算卸载问题的Q-learning模型可描述为4方面：

② 动作(action)：为任务分配卸载计划，即a(t)={Xl(t),Xe(t),Xc(t)}.

③ 状态转移概率(transition probability)：表明本时隙到下一时隙状态的转移概率

P{S(t+1)|S(t),a(t)}=P{M(t+1)⊗

剩余处理时间矩阵中的对应元素

④Q值(Q-value)：Q-learning的难点在于Q值的建立.Q值即为自初始状态起、以动作-状态映射的系统价值量，可定义为

式中γ∈[0,1]为折算因子，所有状态轨迹所对应的代价函数和的期望值即为Q值.

Ⅰ)当mij=0时，任务已经完成，所以Cij(sij(t),aij(t))=0；

本节所要实现的就是提出一种寻找最优动作的在线方法，如式(18)所示

a*=argmina∈{C(S,a)+γQ(S,a)}.

(18)

由于浮标无法知道未来自身、UAV和卫星的通信状况以及任务卸载状况，因此必须采用在线算法计算资源分配和任务卸状况，利用以往的信息预测未来的状态转移规律

Q(sij(t),aij(t))=C(sij(t),aij(t))+

(19)

Q(sij(t),aij(t))在t时刻初始化为代价函数C(sij(t),aij(t))，而C(sij(t+1),aij(t+1))按t时刻的状态信息得到，之后按式(19)更新，概率P{aij(t+1)}由以往的统计频数得到

(20)

对应不同动作a(t)={aij(t)}计算Q值，挑选出具有最小Q值的动作组合，形成决策方案，计算卸载调度算法流程如图3所示，图中a*(t)计算方式如式(21)

(21)

3 仿真实验

3.1 仿真参数设置

3.2 虚拟资源分配

将启发式虚拟机计算资源分配和任务调度算法与暴力方法和随机方法进行比较.图4示出了所提出算法的延迟性能，相对于边缘服务器计算资源的平均延迟.图5表示了当边缘计算速度为10 GC时平均延迟与卸载任务总数之间的关系.在图4与图5中，所提启发式算法都能达到与暴力方法非常接近的性能.

如图6所示，随着任务总数的增加，暴力穷举方法的运行时间呈指数增长，而启发式算法的运行时间相对小得多.所提虚拟机计算资源分配和任务调度算法能够同时达到接近最优的性能和较低的计算复杂度，能够在动态网络条件下为边缘服务器进行有效资源分配.

3.3 计算卸载调度

本小节对提出的计算卸载方法进行了评估和比较，将其与另外两种计算卸载方法，即随机和贪婪进行了比较.随机方法随机卸载任务；而贪婪法要求浮标向通信范围内的全部UAV卸载任务，否则依固定概率进行本地或云卸载.图7刻画了本文所提卸载算法的收敛性能，从第12个时隙左右算法已经收敛，所构建的成本函数增强了算法的学习.

表1展示了成本的主要组成部分，即能耗和延迟.本文所提出的计算卸载方法可以实现最低的能耗和最低的延迟.随机方法获得与基于Q学习的方案相近能耗，因为随机方法在本地处理更多任务，因此能耗较低，但由于本地延迟较长，因此延迟更高.

表1 能耗延时比较

然而，贪婪方法具有很高的能量消耗和延迟，这是由于向无人机边缘服务器上传了过多任务，增大了传输能耗，且增加了处理延迟.这可以在表2中得证，所提出的方法比其他两种卸载方式更频繁地选择卫星云.与卫星云相比，边缘服务器虽然具有高传输速率，但面临竞争问题；而本地处理由于计算能力弱，则会导致较长的延迟.贪婪方法选择更多的无人机边缘，而随机方法则较为均匀地选择了3种方式.

表2 卸载分配情况

图8表示了卸载性能相对于UAV服务器使用成本权重α的关系，基于Q学习的方法通过与环境的交互获取卸载策略，实现最低的总成本.总成本关于云服务器使用成本权重β的变化趋势如图9所示，基于Q学习的卸载方法实现了最低的总成本，但总成本增长最快.

4 小 结

本文构建了SASIN系统模型，研究了SASIN中的虚拟机分配和任务调度和计算任务卸载联合调度控制机制，有效地将计算资源分配给无人机边缘服务器中的不同虚拟机，同时减轻了计算密集型任务的负担.提出了一种动态条件下基于Q学习的计算卸载学习方法，从而处理多维SASIN资源调度，仿真结果验证了所提方法的收敛性和有效性.