吴旭东，范清栋，张 锐

（中国移动通信集团广西有限公司柳州分公司，广西 柳州 545000）

0 引言

将新一代5G通信网络体系与过往通信技术体系相比较，5G通信网络体系引入了三大侧重点完全不同的通信应用，其分别对应着增强的移动宽带通信（eMMB，Enhanced Mobile Broadband）、大规模机器类型通信（mMTC， Massive Machine Type Communication）以 及超 可靠低时延通信（uRLLC， Ultra-Reliable and Low Latency Communication）场景。其中，eMMB主要指当前的移动宽带服务的直接演进，重点突出高数据速率、高流量的特点；mMTC强调单个小区支持大量终端接入，终端普遍具有造价低、能耗低及超长的终端电池使用时间等特点；uRLLC关注极低时延和极高可靠性，主要支持自动工业控制、远程医疗及车联网等业务[1]。为了在一个体系下支撑三种截然不同的应用场景，不仅仅需要革新无线接入技术，还需要在传输网络中应用切片分组网（SPN， Slicing Packet Network）技术，核心网则需朝着通用化及虚拟化方向的方向演进，整个5G通信网络体系整体结构呈现扁平化、边缘计算需求量增大等特点。

5G垂直行业应用也称为面向企业业务（ToB， To Business），其主要依托于uRLLC场景开展业务，整个业务开展过程中，极度强调服务响应及时性及链路稳定性，终端需要按照规划接入某边缘计算中心开展业务，当业务规模较小时，采用“一对一”指定终端固定接入的方式简单易行，倘若业务进一步发展，接入终端数量势必将大幅度增加，业务量增大也会导致边缘计算中心扩容。此时，如下问题亟待解决：早期接入规划已不适用于当前业务发展，人工规划不仅耗且有效性时限短，急需引入一种基于算法的接入机制，使得终端能够自主的在多个边缘计算中心之间自主选择接入，保证终端能够接入到响应时延较短的边缘计算中心的同时不会导致该边缘计算中心性能劣化。

1 ToB业务组网结构

基于连接需求及业务专属性考虑，ToB低时延业务往往采取5G无线网络接入、传输网络SPN回传的方式，业务可依据客户的具体要求按照路由接入边缘计算中心服务器或是托管于运营商IDC机房内的服务器，在不考虑主备链路的情况下，垂直行业应用业务流量原则上应避免经过互联网中转后再路由回边缘计算中心的情况。通用组网结构如图1所示：

图1 ToB业务组网结构

（1）用户终端侧：工业用户终端可在独立使用企业专用SIM卡后可直接连接5G基站或可通过统一终端接入5G无线网络。

（2）无线接入网：5G基站可采用企业专享方式或公共共享两种配置方案，当使用企业专享接入方案时，企业可以独立管理企业专用SIM卡，享有包括SIM卡的注册、注销、服务等级及准入策略设置以及留存专用用户的登录历史记录等权限，实现网络完全自治；当采取公共共享接入方案时，基站可通过辨识PLMN，将行业用户及普通用户进行区分，普通用户业务流量导向运营商核心网，而行业用户流量则路由至园区内边缘计算中心。

（3）传输网络：使用服务质量（QoS， Quality of Service）区分不同优先级业务，利用分片技术保障网络带宽，优先传输高优先级业务。

（4）边缘计算中心：可以采用企业自建、企业租用三方服务器或是企业租用运营商服务器等方式构建边缘计算中心，鉴于当前业务发展尚处于试点实验阶段，行业用户大都选择后两种方式构建边缘计算中心，且边缘计算中心大都仅存在一台服务器，待业务发展成熟，考虑到业务负荷量及数据安全冗余性，边缘计算中心将采用虚拟化主机为基础的云计算方式或多个边缘计算中心的方式部署，边缘计算中心之间业务数据进行同步，以保证终端接入其中任何一个边缘计算中心后均能开展业务。

2 ToB业务流程

垂直行业的应用层通信协议各不相同，例如，工业控制领域中，终端设备高层普遍使用以太网/IP（EIP，Ethernet IP）协议，它是一种高级的工业应用层协议，业务控制数据由上层应用层至下层物理层进行层层封装，其中，在网络传输层，上层封装数据会被继续封装在TCP/UDP协议内，因此，业务发起流程可归结如图2所示：

图2 ToB业务发起流程

（1）准备阶段：行业终端主动发起业务会话请求，边缘计算中心服务器被动侦听服务端口，准备随时响应来自终端的会话请求。

（2）建立端对端连接：ToB业务普遍采用基于面向连接的连接协商机制，行业终端与边缘计算中心服务器间通过TCP协议的三次握手机制建立可靠的端对端连接。

（3）业务数据传输：待端对端连接建立完毕，被封装过的业务数据在该连接上进行传输。

3 业务时延建模

由于低时延是低时延业务的一项重要性能指标，因此有必要对该类业务的时延进行建模。结合图1中的通用结构及图2的业务发起流程，可构建一个描述ToB业务端到端的时延模型，令Tdelay为业务开展中一次通信的总时延，即行业应用终端发起业务请求至获取到服务端的响应数据包的时间间隔，Tclient代表行业应用终端数据高层协议处理时延，Twireless表示数据包在5G接入网中传输一次的往返时延，Twire为数据包在有线网络中传输一次的往返时延，Tserver定义为边缘计算中心内数据包处理时延，则Tdelay可由式（1）计算得出：

式中，Twireless及Twire两项时延均归属于网络时延，可以统一使用Ttransmission表示，则式（1）的时延模型可以修正为：

Tclient取决于终端处理应用层报文的能力，与终端硬件及软件能力有着很大关系，而Tserver也与服务器硬件能力及当前业务负荷量有关，Ttransmission构成较为复杂，延迟因素及原因归纳总结如表1所示：

表1 延迟因素及其说明

因此，Ttransmission及Tserver两个时延的测量评估至关重要，以Ttransmission表示延迟测量评估值，则Ttransmission可经式（2）计算：

由业务发起流程可知，Testimation时延可以通过统计一次端到端的数据包交互时间获取，低时延业务中的终端应该向拥有最小Testimation值得边缘计算中心发起服务，其中n表示边缘计算中心的编号：

4 接入选择方式

常见的选择算法有平均选择算法及往返时延（RTT，Round-Trip Time）两种[3]。平均选择算法不考虑行业应用终端至各个边缘计算中心的端到端时延，无差别在各个备选的边缘计算中心服务器间选择接入，因此各个边缘计算中心服务器的负载基本相同。一般采用等概率随机选择或轮询（RB， Round-Robin）机制实现[2]。这种方式应用广泛且实现简单，服务器间负荷较为均衡，对终端能力要求较低，这是其的优点，但其缺点也同样明显，终端每次选择的接入目标服务器可能并非拥有最小响应时延，整体性能较差，据此，针对对于时延有严格要求的垂直行业应用业务，平均选择算法显然并不适合。

4.1 RTT相关的选择算法

一方面通过以上低时延业务的时延建模结果，终端若能每次接入拥有最小的Testimation边缘计算中心，就可以保证终端低时延业务感知。另一方面，RTT相关的算法是以报文往返时间作为测量对象的一种算法，因此可用来解决如何选择最小Testimation的问题。

根据业务流程，当终端发出TCP三次握手协议中第一个握手包时，终端会启动计时器，当收到TCP三次握手协议中第二个握手包时计时器终止，以此来标识一个终端至该边缘计算中心服务器的RTT值，也就是本次连接的Testimation。

选择最小RTT有两种方式，一种是直接选择最小的RTT值边缘计算中心接入；另一种则是为RTT值区间赋予概率权重，以概率大小进行选择，通常RTT值越小被赋予的概率越大。

然而RTT算法中存在两个问题需要解决，问题一是终端初始接入问题，由于RTT值测量需要在TCP三次握手包交换的过程中进行，当终端实施了TCP三次握手流程，即意味着终端已经选定了一个边缘计算中心进行接入，因此，在终端没有获得实际的往返延迟之前，会至少对每个备选的边缘计算中心都选择一次，并记录其RTT值。可以为每个备选边缘计算中心设置一个远低于实际的数值，达到初始化赋值的效果；问题二是网络处在不断变化中，原本具有较大RTT的边缘计算中心随着时间推移，其RTT可能会变小，从而成为优选对象，但终端只有选择了才能探测到其变化，而选择接入的正是因为有了最小的RTT，这就形成了一个死循环，为了解决这一问题，大多数RTT相关的选择算法都会采用RTT衰减的策略，即对于没有被选择的边缘计算中心，终端侧所记录的RTT值会按照一定的方式逐渐变小，这就使得每个边缘计算中心周期性的都有能被选择的机会，不会永远都选择同一个边缘计算中心接入。

4.2 SRTT算法

为了解决RTT算法中存在的两个问题以解决边缘计算中心选择问题，引入了平滑RTT（SRTT， Smoothed Round Trip Time）算法[4]，具体算法如下：

4.2.1 初始赋值

终端在缓存内对每个边缘计算中心赋予一个初始值化的SRTTinit，具体公式如下：

式中，R为一个生成的32比特长的大随机数。以上所计算出的每个边缘计算中心的SRTTinit会是一个近乎为零的值，因此所有的边缘计算中心都有机会第一次被优选。

4.2.2 SRTT的计算

终端发起本次业务时，其在获取到本次RTT后，会用该RTT值与之前的SRTT进行加权求和，并更新其记录中的该边缘计算中心的SRTT值，具体计算方式如下：

式中，α这个权重参数可调，一般取值0.7。

4.2.3 SRTT衰减

为了防止终端在开展业务时一直都选择某个SRTT最小的边缘计算中心，而忽略了其余未被选中的边缘计算中心可能会拥有更短响应时延的情况，需要在算法中加入机制，算法如下：

式中，β这个权重参数可调，一般取值0.998。

采用SRTT及其衰减机制的效果在于终端每发生一次业务，都会修正一次所有边缘计算中心的SRTT，本次业务选择的边缘计算中心依据的是上一次发生业务修正SRTT，且每发生一次业务，所选择的边缘计算中心的SRTT会趋向于升高，而未被选择的边缘计算中心的SRTT会趋向于降低，因此所有的边缘计算中心都会周期性的被选择的机会，以此可以主动探知原本SRTT较大的边缘计算中心变小这一网络变化[3]，同时也可以均衡各个边缘计算中心的负荷，避免单个边缘计算中心由于接入终端过多而导致性能下降。

5 SRTT算法应用效果

算法应用效果评估将分两部分进行评估，首先将评估多终端在多个边缘计算中心的情况下分别使用SMRTT算法及平均选择算法的平均时延，其次，再评估多个边缘计算中心在使用SMRTT算法时的负荷情况。

5.1 终端时延表现

仿真环境中，模拟多个终端同时对多个边缘计算中心发起业务请求的情况，分别使用了SMRTT算法及平均选择算法测试，结果如下，其中蓝点为SMRTT算法终端的平均接入时延，橘色点为平均选择算法终端的平均接入时延：

图3 终端平均响应时延

表2 算法测试环境及结果

5.2 边缘计算中心负荷情况

仿真环境中，模拟多个终端同时对多个边缘计算中心发起业务请求的情况，当使用了SMRTT算法时，单个边缘计算中心的负荷情况如下，其中蓝点为边缘计算中心A的负荷情况，橘色点为边缘计算中心B的负荷情况：

表3 单边缘计算中心负荷情况

6 结束语

当前垂直行业业务尚处于起步阶段，普遍采取人工先期规划，终端业务路由接入固定边缘计算中心的组网结构，业务量尚未达到需要在一个园区内部署多个边缘计算中心进行负荷分流的规模，但随着业务量增长，同一园区内部署多个边缘计算中心的组网结构成为可能。在此情况下，终端业务接入边缘计算中心的规划方案将直接决定着业务时延指标及边缘计算中心间的负荷情况，且该方案还应将网络拓展性纳入考虑，以使网络能够适应未来一段时间内业务的发展，假若该些问题完全依靠先期规划及日常人工优化解决，该项工作必定繁重而复杂，因此，考虑使用终端依靠算法选择接入的方式代替全人工规划优化的方式，一定程度上减轻运维工作负担。为了达成这一目标，该算法应能使终端每次发起业务时，都尽可能地选择低时延边缘计算中心接入，同时，在不考虑单个终端实际业务量的情况下，全局上能够维持多个边缘计算中心之间业务接入量均衡。本文探讨了两种选择接入算法，在多终端整体接入平均时延及多边缘计算中心间负荷这两个评估维度上，SRTT接入算法较平均接入算法更能降低多终端平均接入时延，同时维持边缘计算中心间接入负荷均衡。