陶静，刘世栋，刘川，卜宪徳

（国网智能电网研究院有限公司，南京 210003）

0 引言

自2020年国家电网有限公司提出全力推进电力物联网建设以来，“发、输、变、配、用”各环节都实现了电力物联设备及系统的部署应用［1-2］。由于当前电力专网未实现全覆盖［3］，电力物联网业务需通过低功耗广域网络、电力线载波、电力无线专网、4G/5G无线虚拟专网等方式承载［4-5］，然而这些技术不能有效满足电力物联网广覆盖、大连接的需求。Liu Jiayan等［5-6］认为5G通信技术存在地理环境限制，可采用空-天-地一体化网络来提供更广的覆盖范围和更高的通信容量。江秀臣等［7］为输配电设备物联网设计了结合SAR（合成孔径雷达）遥感卫星、LoRa（远距离无线电）的天地协同通信方案。空-天-地协同形成的立体网络为电力物联网泛在通信需求提供了解决方案，但也存在一些弊端：一方面，立体网络为典型的异构通信网络，呈现多种通信方式并存、通信协议复杂异构、通信节点空间分布广、通信设备层次多、运维管理困难等特点；另一方面，电力物联网传输的电力业务数据对实时性、可靠性、安全性要求较高，而立体异构网络层级更多，尤其是天基和空基网络节点自身处于快速移动状态，因此通信性能保障较传统网络更为复杂。

杨权东等［8］研究电力物联网中异构网络关键技术时，提到了多连接下的网络间切换技术及负载均衡技术。刘林等［9］认为面向电力物联网新业务的电力通信网将向通信组网融合化、通信调度灵活化、通信运维智能化发展。要实现立体异构网络的协同控制，首先需要打破通信设备类型不同、设备间接口协议不同、设备所在层级不同等因素造成的壁垒。SDN（软件定义网络）是一种控制与转发分离、逻辑集中控制、网络可编程的新型网络架构，是未来网络的主流技术，广泛用于电力物联网体系架构设计、电力物联网通信网络优化、5G通信网络软件化及开放化、提高物联网络性能［10］等场景，可实现电力通信网不同层级网络的协同管理［11］。李波等［12］基于SDN设计了云边协同的逻辑架构，通过部署全局集中控制器，实现物联网云和边的资源协同、管理协同和应用协同。

本文在现有研究基础上，从电力物联网通信及管控需求出发，设计基于空-天-地协同的电力物联网立体通信架构，并分析其协同控制需求。借鉴SDN控制与转发分离、逻辑可编程的理念，设计基于SDN的异构通信网络协同控制方案，并为方案在电力物联网中的部署实施提供平滑演进路线。针对方案中核心组件——协同编排系统，开展设计需求分析，并完成协同编排系统的功能设计。聚焦协同编排系统的核心功能，对比分析DTSM（基于Dijkstra算法的流量调度方法）和KTSM（基于Kruskal算法的流量调度方法），设计性能更优的QTSM（基于Q学习的流量调度方法），最后通过仿真实验来验证方法的可行性。

1 电力物联网通信及控制需求

1.1 电力物联网立体通信架构

随着电力物联网建设推进，分布式能源数据采集、输电线路监测、厂站环境监测、应急救援等多种电力业务场景中接入的感知设备、物联代理终端总共接近6亿台［13］，且规模呈现快速上升趋势。现有电力物联网的通信网络覆盖范围受限、通信设施部署灵活性差、通信质量保障能力弱的问题更为凸显。因此，亟需构建电力物联网广覆盖、大连接的空-天-地协同立体通信架构，在提升电力物联网通信网络智能管控水平的同时，为高海拔、强覆冰等地形复杂的地区提供可靠通信能力，为自然灾害或极端情况下的通信提供应急保障能力。

图1为基于空-天-地协同的电力物联网立体通信架构。“发、输、变、配、用”各场景部署的感知设备通过本地通信方式接入边缘物联代理设备，边缘物联代理设备通过远程通信方式接入物联管理平台。该架构中，边缘物联代理设备与物联管理平台间远程通信通过空-天-地协同的公网或电力专网承载。

图1 电力物联网立体通信架构Fig.1 cture of power IoT

1.2 立体异构通信网络协同控制需求分析

基于空-天-地协同的电力物联网立体通信架构可实现感知设备的广覆盖、大连接，但网络自身的运维管理面临一些挑战：首先，海量设备通信接口复杂异构，如本地通信接口包括微功率无线、蓝牙、RS485、ZigBee、串口、工业以太网等，远程通信接口包括以太网、4G/5G等；其次，设备间传输的业务协议复杂多样，如配电自动化系统信息采集需遵循DL/T 5500—2015，电能信息采集需遵循DL/T 698系列标准，用电信息采集的通信协议要遵循Q/GDW 1376系列标准；再次，电力物联网中的通信设备由不同归属部门、不同厂商进行运维管理，存在诸多壁垒，使得故障定位与处理困难，运维效率低下。因此，亟需探索更全面兼顾、更弹性灵活的网络控制方法。控制需求来源于电力业务需求和网络自身控制需求。

从电力业务角度分析［4，14-16］，在新型电力系统建设的宏观背景下，配电网有源化是必然的发展趋势，规模化的分布式可再生能源与用户侧可调资源将直接参与大电网平衡。海量异构资源要实现“即插即用”，要求配电网能够实现调控业务的信息流和能量流双聚合，并随时应对用户侧资源导致的各种故障。电力物联网的通信网络是信息流聚合的基础设施，信息流是能量流的重要支撑。立体异构的通信网络需解决海量异构终端接入问题，支撑终端与大电网不同形式的频繁互动，并针对多时间尺度的业务（如日前、日内及实时调度）提供差异化的通信QoS（服务质量）保障。

从网络控制角度分析，立体异构通信网络规模大、层次多，通信协议包括DTN（时延容忍网络）协议、CCSDS（国际空间数据系统咨询委员会）空间网络互联网协议和TCP（传输控制协议）/IP（网际协议）等［17-19］。通信节点包括天基的轨道卫星、空基的无人机、地面的有线及无线设备，这些设备的覆盖范围、传输频率、传输容量、设备性能、传输成本等差异极大。尤其是高、中、低轨道卫星和无人机均在移动中实现通信，移动导致的链路频繁动态切换、距离导致的较高传输时延、地理和天气环境变化导致的通信质量波动都给协同控制带来挑战。因此，实现协同控制需屏蔽立体异构网络的层间差异，集中各层次通信设备的管理能力，在全局层面实现通信节点和通信链路的实时感知及优化调度。

综上所述，电力物联网立体异构通信网络协同控制需满足以下要求：通信组网需支持多种通信方式的自由切换与协同控制；通信调度需支持集中式、分布式、混合式的调度模式；通信运维需实现全生命周期的智能高效运维。

2 基于SDN的立体异构通信网络协同控制方案

2.1 总体控制方案

基于SDN的立体通信网络控制可将立体网络中各层级设备的控制权分离并集中起来，通过开放的接口实现设备的逻辑控制，在上层实现网络资源的协同管控［20］。基于SDN的电力物联网立体异构通信网络协同控制总体方案如图2所示，立体通信网络的控制平面和转发平面位于电力物联网传统四层架构中的网络层和平台层，可划分为基础网络层、控制层及业务编排层。基础网络层包含空-天-地网络各层网络中的底层通信设备，如星载交换系统、无人机编队及交换机。控制层包含SDN控制器和开放能力的传统网管系统。业务编排层包含协同编排系统及物联管理平台中的相关管理系统。协同编排系统集中控制天基、空基和地基网络的网络能力，实现跨层、跨域网络资源的统一控制、灵活调度及智能运维，同时还能向应用层的自营或第三方业务应用提供必要的网络管理能力。

图2 基于SDN的电力物联网立体异构通信网络协同控制总体方案Fig.2 Overall scheme of collaborative control for stereo hetero-geneous communication networks of power IoT based on SDN

考虑到现有底层通信设备并非全部支持SDN，因此部署时可采取图3所示的演进路线，首先部署协同编排系统，实现与传统通信设备或网管的物理连接，接着可采用以下升级措施：

图3 协同控制总体方案实施演进路线Fig.3 The implementation route of the overall scheme of collaborative control

1）开放传统通信设备的管理能力，使协同编排系统具备设备控制能力。

2）新增设备时选用支持SDN功能的通信设备，将SDN控制器接口开放给协同编排系统。

3）通过升级传统通信设备使其具备可编程能力，部署SDN控制器并将接口开放给协同编排系统。

通过上述措施使协同编排系统获取尽可能大的管理范围，最终提升协同控制能力。

2.2 各层控制方案

基于SDN的天基网络控制方案如图4所示。星载交换系统具备时延长、拓扑变化快、处理能力有限等特点，因此将其控制平面集中至地面的控制中心完成，星载交换机均为白盒交换机，地面的SDN控制器与控制中心的业务应用交互，完成网络拓扑管理、路由规划、运维管理等功能［21］。

图4 基于SDN的天基网络控制方案Fig.4 Control scheme for space-based networks based on SDN

基于SDN的空基网络控制方案如图5所示。可通过无人机编队来完成单架无人机无法完成的高精度定位、协同探测侦查等复杂空间任务［22］。根据空基网络中无人机编队的规模及地面管理系统覆盖范围，可选择集中式和分布式两种控制模式。集中式控制即地面的SDN控制器控制编队中所有无人机。分布式控制则是首先在无人机编队中按照规则动态选出领航机，然后由其在地面管理系统的指导下，通过SDN控制器管理编队中其他无人机。

图5 基于SDN的空基网络控制方案Fig.5 Control scheme for air-based networks based on SDN

基于SDN的地面网络控制方案如图6所示。将原有的核心、接入交换机更换为SDN交换机，或升级交换机使其支持SDN功能，在核心侧与接入侧之间，形成支持VxLAN（虚拟扩展局域网）功能的SDN内部网络。在交换机之外部署SDN控制器，实现网络能力的集中管理。

图6 基于SDN的地面网络控制方案Fig.6 Control scheme of ground network based on SDN

3 立体异构通信网络协同编排系统设计

3.1 协同编排系统设计要素

协同编排系统是本文所提基于SDN的电力物联网立体异构通信网络协同控制总体方案落地实施的核心组件，直接面向复杂异构的通信设备和灵活多样的应用服务，决定了接入设备的范围及协同控制能力。因此，协同编排系统的设计需遵循灵活、可扩展的原则，可借鉴电力物联网平台的自适应系统、微服务体系架构、可扩展网络架构设计，考虑以下要素：

1）采用微服务总线架构［23］。编排系统的业务功能需适应通信设备与应用服务的部署和升级，采用微服务总线架构可实现服务能力的灵活加载与扩展。该架构将相对独立的功能单元抽象化、原子化并形成自治的原子服务，通过微服务总线逐层聚合或组合各个原子功能，最终实现业务的按需创建及统一管理。

2）采用统一模型语言。微服务总线对接的原子服务接口和数据模型各异，为了简化接口和数据变化导致的开发、测试和部署工作，可采用YANG（新一代语言）［24］、TOSCA（云应用拓扑编排规范）［25］等统一模型语言来构建服务间的接口和数据结构。当接口和数据结构发生变化时，可通过统一更新模型定义，实现业务的快速更新。

3）构建策略驱动模型。可根据网络资源编排的需求，识别已知的特定事件并预定义事件驱动指令（包括事件发生时间、发生条件及执行动作），将事件驱动指令抽象为策略，构建策略驱动模型，并纳入统一策略库。当发生相应事件时，可在确认事件发生的时间和条件符合驱动指令后自动执行动作，提升系统的响应速度。

3.2 协同编排系统功能设计

协同编排系统采用前后端分离模式［26］。其中前端由Web浏览器、nginx服务器（包含静态资源服务、请求反向代理）和node.js组成，前端需要的动态数据通过Ajax请求经API（应用程序接口）反向代理转发至后台的应用服务。后端基于Spring-Boot架构设计，基本功能数据库采用MySQL存储，缓存信息采用Redis存储。协同编排系统功能模块设计如图7所示。

图7 协同编排系统功能模块设计Fig.7 Functional module design of the collaborative orchestration system

前端的Web操作与展示系统单元提供用户操作、信息展示功能，使用apache和php开发。用户在界面中进行调度，采用php调用路由调度子系统的相关模块进行处理。

后端分为业务模块及适配模块。其中业务模块包含以下单元：

1）协同编排单元。通过对原子服务能力的注册、管理、升级、组合、移除等操作，实现原子能力模型的映射与编排。

2）策略管理单元。完成统一策略库及各策略驱动模型的管理和维护，实现端到端策略管理，包括策略规则、策略解析、策略执行以及策略优化。

3）服务保障单元。完成业务层面端到端质量保障、基于DPI（深度报文解析）的业务分析等，提供网络层面的网络基础维护能力，包括网络监控、质量测试、保障和综合分析等。

4）控制器单元。采用统一的服务集群实现多控制器（如IP控制器、传输控制器）承载，通过网管微服务控制已有SDN通信设备及传统通信设备。

5）数据采集单元。实现网络及业务资源、状态、性能等数据采集，支持SNMP（简单网络管理协议）、Netflow（网络流技术）、BGP（边界网关协议）和DPI等主流协议。

6）数据存储单元。实现网络静态资源的统一存储与管理，包括清单化资源与状态化资源、数据分析与持久化，支持大数据分析建模。

后端的适配模块包括云端系统适配单元、SDN通信设备网管（SDN控制器）适配单元、传统通信设备网管适配单元，由这些单元分别完成对应的应用系统或网管系统的接入、协议解析、协议适配。

4 立体异构通信网络资源优化调度方法设计

4.1 经典流量调度方法

业务模块中协同编排单元决定了协同编排系统改善立体异构网络通信性能的能力。立体异构网络通信设备的覆盖范围、传输频率、传输容量差异巨大，因此需实时细粒度感知所接入通信节点的状态，采用先进的流量调度算法实现立体异构网络流量的优化调度。本文调研了以下2种经典的流量调度方法：

1）DTSM。1959年提出的Dijkstra算法是最经典的流量调度方法之一，国内学者自1985年开始研究该方法的实现、改进与应用。熊碧霞等［27］实现了基于Dijkstra算法的最短时延路由算法；王芝麟等［28］通过最小二叉堆来优化算法，提升了计算效率；WANG Can等［29］提出了适用于定位不确定环境下的路径规划方法，改进了经典Dijkstra算法的地图勘探方法，在路径规划前迭代和优化路径的累积误差，实现了全局路径最优。上述研究均未脱离Dijkstra算法的基本框架。采用DTSM进行异构通信网络流量调度，目的是为源节点寻找一条到达网络中所有其他节点时延最短的路径，其流量调度流程如图8所示。

图8 DTSM流程Fig.8 DTSM process

该方法的实现前提是已知网络的整体拓扑及各链路的时延。首先完成集合S、源节点v0、节点时延函数D(v)的初始化，将与源节点v0直连、非直连节点的时延数值计入D(v)。接着判断网络中所有节点是否已在集合S中，若不是，则在未纳入集合的节点中依次选择目标节点。若目标节点与集合S中的任意节点不直连，则将其时延函数D(v)标记为∞或其他较大数值；若目标节点与集合S中的任意节点直连，则按式（1）更新时延函数D(v)，即用最小的时延值更新当前的时延函数。

式中：D(w)为与当前节点v直连的任一节点w的时延函数值；d(w，v)为节点w到节点v的时延值。重复上述步骤直至所有的节点都被纳入集合S，返回此时的D(v)汇总数据，即时延最短路径。

2）KTSM。最小生成树也是常用的路径规划方法之一，其原理是在一幅连通的加权无向图中，通过计算找到一棵权值最小的生成树，计算方法有Borůvka、Kruskal、Prim算法等。最小生成树方法可通过灵活定义路径的权重（如长度、成本、延迟、利润等）来实现不同的优化目标，应用范围十分广泛。国内的学者也对算法改进及应用有一定研究，如刘健等［30］在研究配电网网架优化规划时应用了一种改进的最小生成树方法。最经典的最小生成树方法是1956年提出的Kruskal算法。采用KTSM进行异构通信网络流量调度，目的是找到一条全局时延最短的路径，其流量调度流程如图9所示［31］。

图9 KTSM流程Fig.9 KTSM process

该方法在完成参数初始化后，将网络拓扑中所有的边按权值Wi（即时延的大小）进行升序排列，首先选取时延最小的边为树的第一条边。接着依次选择其他边l，判断l是否与当前已生成树中的节点形成环路：若是，则舍弃该条边并选择下一条边进行判断；若未成环，则将该条边纳入当前已生成树的集合中。循环上述步骤，直至生成树中包含N-1（N为网络中节点总数）条边，返回该最小生成树，即全局时延最短的路径。

4.2 QTSM

上述两种方法是常见的流量调度方法，但电力物联网相较于传统物联网而言，还具有专用网络和工业控制网络的属性，其安全性和可靠性要求高于传统网络。立体化的异构通信网络需考虑天基、空基网络的动态性、复杂性及不稳定性，对网络资源态势感知及资源优化调度提出了更高的要求。牟治宇等［32］提出了一种改进的Q学习算法来解决物联网中无人机辅助采集数据时的路径规划问题，但不涉及地面网络及天基网络。Peiying Zhang等［33］采用虚拟网络架构和深度强化学习，针对异构网络编排设计了多域虚拟网络嵌入算法，实现了多域网络融合，其研究不涉及流量调度优化。Fengxiao Tan等［34］提出了一种基于双Q学习算法的空-天-地一体网络动态流量卸载方法，可减少丢包率和时延，提升网络吞吐量。

因此，本文提出了改进的QTSM。首先将异构网络的流量调度问题转化为最大链路长度、最小时延、最小带宽、丢包率限制等约束下的最大流量问题，在此基础上设计一种基于Q学习的流量调度模型，如图10所示。该方法本质上属于马尔可夫决策，包含了状态、智能体、动作、环境及奖励要素［35］。流量调度过程以当前网络状态为输入，智能体在动作集（即可选路径）中选择动作（即某条路径）并执行，使流量转发进入下一跳，更新网络状态并重新计算奖励值，进入下一轮循环［36］。

图10 基于Q学习的流量调度模型Fig.10 Traffic scheduling model based on Q-learning

图10中：St为t时隙的网络状态向量；e1t—emt为t时隙网络中m条链路的链接利用率；C1—Cn为n个网络节点上的排队时延；Rt为t时隙的奖励函数；et为t时隙所有链路中的最大链路利用率；Ct为一个数据采集周期内传输路径上排队时延的总和；α和β为折扣因子；智能体为网络的控制平面；动作集At为t时隙网络中所有可选的路径规划方案。根据该模型，Q学习算法中价值函数可更新为：

式中：Qπ(s，a)为状态s下选择路径方案a时的累积奖励折现函数，其中下标π代表选择路径方案时采用的策略；Eπ为采用策略π时的函数期望值；γ为折扣因子；rt+k+1为在当前t时隙选择路径方案a后，预估t+k+1时隙获得的奖励值；st为t时隙的网络状态；at为t时隙选择的路径方案。

累积折现奖励包含了当前的奖励及未来奖励的折现值，因此在状态st下选择路径方案at后，按照式（3）更新价值函数Qπ(s，a)的值为：

式中：δ为学习率，体现新值对旧值的替代率；η为折扣因子，体现对整体奖励的重视程度。

基于上述研究，本文提出的QTSM流程如图11所示。该方法在完成学习次数、状态集、动作集、学习率、折扣因子、探索率等参数以及Q表的初始化设置后，进行多轮强化学习，以Q表的形式确定最佳的流量调度方案。每轮学习中，首先采用ε贪婪策略计算选择最大价值动作和随机选择动作的概率，按照概率分布在状态s下选择动作a，即选定了下一跳节点，更新状态s为s'。接着计算奖励值，按照式（2）、式（3）更新Qπ(s，a)函数。然后判断s'中的节点是否为目标节点：若为目标节点，表示寻路结束，进行下一轮学习；若非目标节点，则表示需继续寻路。进一步判断当前选择的奖励值是否当前最大的奖励值：若是，则计入Q表中，进行一轮学习；若无对比选项或者并非最大值，则按照ε贪婪策略重新选择动作。所有学习完成后，返回最终的Q表，即最佳的流量调度方案。

图11 QTSM流程Fig.11 QTSM process

5 仿真验证

为了验证上述异构通信网络资源优化调度方法的性能，本文基于卫星运行分析软件STK、网络仿真软件NS3构建了立体通信网络协同编排仿真环境。所提资源优化调度方法是面向电力物联网边缘汇聚接入后的大容量传输场景，一方面考虑到当前电力物联网业务尚未实现专网传输，与统一视频监控业务等管理信息业务等通过不同VPN（虚拟专网）承载在同一传输网络中，因此网络流量不能仅考虑到电力物联网业务传输需求；另一方面考虑到未来电力物联网数据传输需求持续增长，因此仿真模型节点流量高于现有电力物联网业务边缘接入流量。

本文分别采用QTSM、DTSM、KTSM对异构通信进行协同编排。在相同网络环境下，通过增加用户请求数，对采用不同调度方法的网络吞吐量及链路数据进行观测，验证本文所提QTSM的有效性。

网络吞吐量比较如图12所示。DTSM由于采用了最小时延策略，其节点利用率最低，平均吞吐量最小；KTSM在负载均衡方面表现优于DTSM；QTSM采用多次学习，在网络流量状态的态势感知及性能优化方面的表现最优，其平均吞吐量明显高于其他两种方法。

图12 网络吞吐量比较Fig.12 Comparison of network throughput

网络链路数比较如图13所示。请求用户少时，三种方法差异不大。但请求用户增加时，QTSM对节点及网络传输路径状态进行了深度学习，可将数据流合理分配至新建链路，因此网络链路数要明显优于KTSM和DTSM。

图13 网络链路数比较Fig.13 Comparison of the number of links

上述仿真结果表明，采用QTSM对异构网络进行资源调度可有效提升异构通信网络的平均吞吐能力、负载均衡能力等网络性能指标，还提升了网络资源的利用率。

此外，本文还评估了QTSM中学习次数对网络性能的影响，仿真验证结果如图14所示。

图14 不同学习次数下的网络吞吐量比较Fig.14 Comparison of network throughput with different learning times

在不同用户请求数下，学习次数为300的QTSM的网络平均吞吐量高于学习次数为200和100的QTSM。用户请求数越高，网络性能优化效果越显著。因此，在计算资源允许的情况下，可尽量增加学习次数，以提升网络性能指标及网络资源的利用率。

6 结语

本文针对电力物联网广覆盖、大连接需求下通信网络覆盖范围受限、通信设施部署灵活性差、通信质量保障能力弱的问题，提出了空-天-地一体化的立体通信架构。在分析立体异构网络的协同控制需求的基础上，提出了基于SDN的协同控制总体方案，以及天基、空基和地面网络的分层控制方案。按照凝练出的协同编排系统设计要素，完成了系统编排系统的软件功能设计。在分析了DTSM和KTSM后，提出了改进的QTSM。首先将异构网络的流量调度问题转化为最大链路长度、最小时延、最小带宽、丢包率限制等约束下的最大流量问题。然后采用Q学习算法完成多轮学习，实现网络总体流量最大化。仿真结果表明：协同编排系统可实现立体异构通信网络的协同控制；QTSM可有效提升异构通信网络的流量吞吐能力和负载均衡能力。