杨振东，冯铭能（.中国联通广东分公司，广东广州 5067；.中讯邮电咨询设计院有限公司广东分公司，广东广州 5067）

1 概述

固移融合推动政企业务高速发展，城域网承载的业务种类越来越丰富，同时随着云计算的快速发展和大规模部署，未来网络将以DC 为中心，本地实现综合承载。

随着网络规模不断扩大，网元数量迅速增长。现有逐个配置网元的模式，工作量大，配置时间长，配置层级多，配置准确率不高，业务响应速度慢，已不能满足业务和网络发展的需要。统一的网络管理和数据配置需求就更加迫切。

2 网络现状及问题分析

目前网络监控是基于整体业务流量层面，现网尚不具备基于不同业务流的状态收集、感知以及在此基础上的针对细分业务流的自动路由调优、保护等能力，需要手工干预，逐个配置网元，响应时间慢，不能基于网络中发生的异常情况自动、迅速地采取相应的措施以保障业务安全和用户体验。

2.1 广东联通IP城域网现状

遵循中国联通集团关于169网络扁平化发展指导意见，结合广东联通China169 网络结构、各城域出口流量以及业务发展的需求，目前广东联通各IP 城域网均独立设置自治域，直接上连169 骨干网。广东联通形成大珠三角和各地（市）的共计22个IP城域网，各地（市）通过设置在本地的省管S设备与大珠三互通，图1为广东联通城域网拓扑图。

图1 广东联通城域网拓扑示意图

2.2 存在的问题

随着云计算、移动互联网等应用模式的发展和流量模型的改变，很多时候需要网络能主动“适应”业务流量，做到应用随需而变，但是由于目前的网络在管理上主要是面向设备而非面向业务，更多的是基于节点而非全局的视角，因此，产生了很多问题。

a）业务部署慢，上线周期长：设备分散，业务开通时需要逐台部署，手工配置，部署工作量很大；业务众多，配置复杂，手工配置容易出错，开通周期长。

b）流量调度难，缺乏灵活性：由于缺乏整网视角，设备各自基于路由进行选路，选出来的是最短路径而非最优路径，带宽利用率低；无法根据网络状况变化自动、快速地调整业务流路由，用户体验无法得到保障；传统的策略路由和流量工程局限性大，配置复杂，无法动态适应网络状态和应用需求的变化。

c）网络维护人员的运维体验差：网络管理手段有限，以手工为主，对网络维护人员的技能要求较高；流量和业务无可视化界面，无法快速识别和定位故障，运维难度大。

d）网络开放能力弱，无法适应业务对网络的要求：设备复杂，网络封闭，可编程能力弱，无法满足业务快速部署和灵活定制需求。

随着网络越来越复杂，城域网业务应用场景也逐步从传统的提供固定网络业务变为灵活的多样性业务。这些变化给网络和业务管理带来了挑战，需要通过业务编排器实现灵活的业务编排和网络协同。

3 城域网编排协同器

3.1 系统架构分析

城域网编排协同器主要负责城域网范围内的业务编排和网络协同。

a）业务编排：实现城域业务灵活编排，对城域网各种网络资源以及网络能力进行抽象处理和封装，灵活组合，为业务的开发提供标准的API接口，开放网络能力，支持定制化开发。

b）网络协同：基于业务、网络的变化自动调优网络，实现预定的业务和网络策略，保障各网元协同工作，屏蔽底层设备差异，提供自动化、智能化运维手段。

技术架构方面，编排器具有模型驱动（设计、运行分离）、跨域编排、闭环控制、微服务架构、多厂家对接五大特征。

a）模型驱动：采用设计与运行分离架构，设计态完成离线设计与验证测试，运行态进行自动部署与管理。设计态完成资源导入、业务模板设计、资源与业务模板的测试与认证、业务模板存储与分发；运行态基于业务模板分解执行资源实例化从而实现业务自动部署与生命周期管理。

b）跨域编排：编排器面向SDN网络，实现端到端、跨域的业务编排和协同，根据业务模板下发并协调SDN编排任务；SDN-C负责SDN编排实现。

c）闭环控制：构建基于采集、分析、策略的控制闭环，实现运维管理自动化，数据采集分析模块负责数据采集分析，策略管理模块进行事件匹配与策略触发，业务下发模块负责策略执行。

d）微服务架构：采用full mesh 的微服务架构，实现共用服务组件，提供服务注册发现、认证框架等共用服务，保持服务模块相对独立的同时，实现功能模块的灵活组合，避免重复开发。

e）多厂家对接：提供通用抽象接口，通过标准化的REST API 对接不同厂家的SDN 控制器，统一参数，实现编排器与控制器解耦，同时支持异厂家API 参数适配。

城域网目标架构如图2所示。

图2 城域网目标架构

3.2 编排器对外接口

城域网编排器对外接口如图3所示。

图3 编排器对外接口示意图

3.2.1 编排器北向接口

与服务开通系统接口：接收业务开通、变更、删除等指令。

Web UI 接口：提供API 开放、自服务界面，实现网络资源查看、业务运行状态监控、性能监控、自服务等功能。

通过北向接口，编排协同器能让上层应用以软件编程的形式调用各种网络资源，同时可以把控整个网络的资源状态，对资源进行统一调度。

3.2.2 编排器南向接口

通过灵活的REST API接口对接异厂家控制器，实现编排器与控制器解耦，调用控制器配置的YANG 模型，与跨厂家、跨域、跨本地网的控制器实现对接。

3.2.3 编排器东西向接口

资源管理系统接口：申请、释放业务开通所需的资源数据。

综合网管系统接口：获取网络拓扑、网元状态信息，实现网络资源信息的收集、呈现。

3.3 编排协同器模块

编排协同器位于SDN 体系结构的编排层，北向为应用层提供服务，南向对SDN 控制器层下发指令并收集上报信息。业务编排器主要包括资源管理、业务编排管理和服务管理三大模块，如图4所示。

3.3.1 资源管理

提供业务和网络资源管理等服务，为业务设计与业务发放准备资源，各子模块如下：

a）业务资源：业务资源查询和管理，包括IP地址、VPN、VLAN、AS、码号资源、云资源等，支持与资源管理系统对接。

b）网络资源：包括网络节点管理、设备配置管理、中继链路配置管理、用户电路配置管理、网络拓扑图管理等。

c）拓扑管理：将所管理的网元之间的逻辑关系、网元的运行状态、链路资源使用情况等信息以图形或列表的方式概括呈现，并提供进一步访问网元信息的应用链接。

d）数据采集：接收SDN设备上报的数据并存储到数据库，系统用户可以通过这些数据库来进行简单的查询和处理。

e）数据分析：利用分布式数据库或者分布式计算集群对海量数据进行普通的分析和分类汇总，以满足常见的分析需求。

f）事件监控：检测和诊断运行中出现的与业务提供、操作管理、运行维护相关的各种异常事件以及故障。

3.3.2 业务编排管理

基于用户输入的业务请求和业务设计模板，编排业务的网络实现并执行业务发放的功能，对业务的全生命周期进行管理。业务编排管理模块是编排器的核心模块，主要子模块如下。

a）模型管理：定义最小颗粒度的业务，输出业务模型并对其进行管理。

b）业务设计：对业务模型进行编排组合，形成业务产品。

c）业务创建：根据业务涉及的产品，配置相关参数，创建业务的实例并下发执行。

图4 编排器在SDN体系架构中的位置

d）业务变更：修改已部署的业务实例中的参数并下发执行。

e）业务删除：删除已部署的业务实例并下发执行。

f）策略管理：根据感知的网络运行状态，触发业务创建、业务变更以及业务删除操作。

g）事务管理：管理业务创建、变更、删除操作，协同各网元操作的一致性、完整性。

h）资源管理：编排器向资源管理系统查询、申请、释放资源。

i）设备管理：管理设备厂家、产品型号、设备编号、IP地址端口等。

3.3.3 服务管理

提供对自身软件的管理功能，尤其是随着业务发展，需要扩展新的业务支持。各子模块如下：

a）认证管理：为系统提供统一的安全和审计机制，保障整个管理系统可靠运行。

b）权限管理：将角色管理和设备的分组管理形成二维的组合管理，与操作权限组合，形成二维的分权分域模型，形成新的权限集合，便于分配给系统管理用户。

c）日志管理：日志管理通过记录系统的安全日志、操作日志以及系统运行日志等内容，为管理员进行系统维护和审计提供信息，确保系统出现故障和问题后能迅速定位。日志管理同时也提供对系统日志和操作日志的记录、查询、删除功能。

d）数据管理：提供数据库备份、恢复功能。通过自身界面操作可将指定的数据备份到指定的外围存储器中，外围存储器包括磁盘、磁带、数据库等。

e）流程管理：对业务执行的全流程进行管理。

3.4 编排协同器业务流程

业务编排流程以业务设计、业务创建、业务变更、业务删除全生命周期管理为主线，与资源管理、设备管理、模型管理、策略管理、事务管理等主要模块进行协作。模型管理模块与业务设计模块进行交互；资源管理、设备管理、策略管理、事务管理模块与业务创建、业务变更、业务删除模块分别进行信息交互。详细流程如图5所示。

3.5 编排器的架构

图5 业务流程示意图

3.5.1 分层架构

编排器分层架构如图6所示，从下往上为物理层、数据层、服务层、业务层、接入层和应用层。其中，业务层包含编排器的核心处理模块。

图6 编排器分层架构

在编排器系统设计时考虑满足如下要求：

a）对标业界主流的ONAP、MEF框架，保证系统的先进性、规范性。

b）采用微服务架构，保证业务应用高可用、高扩展、高稳定，便于服务模块的灵活扩展。

c）运用主流的YANG 数据模型，支持事务级管理，支持与跨厂家、跨域、跨本地网的控制器对接和协同。

d）通过北向REST接口，完成能力开放，实现端到端的业务开通、新产品开发等功能。

3.5.2 业务处理时序

编排器各层之间的消息交互流程如图7所示。系统采用的是微服务架构，各服务之间采用REST+JSON的协议格式。

图7 编排器业务处理时序图

a）应用层发起访问请求到接入层。

b）接入层进行访问控制、接入认证、签名认证、权限判断、服务路由等逻辑分析，进而发起业务处理请求到业务层。

c）业务层进行业务相关的流程处理，发起业务下发处理请求到服务层。

d）服务层将业务下发指令进行适配（支持兼容不同厂家控制器的协议差异），并在数据层完成下发指令持久化存储，最后由服务层下发指令到物理层。

e）物理层将指令发送给控制器处理后，返回处理结果，并将相关信息在应用层呈现。编排器通过统一的事务管理，保证各网元业务操作的一致性和完整性。

4 改造效益分析

以广东联通部署业务编排器为例，通过城域网编排器实现端到端的典型业务部署下发和移动业务的高QoS保障。

4.1 业务统一配置下发

传统的网络管理采用CLI命令行的方式进行业务配置下发，存在设备类型多、命令数量多、配置复杂等一系列问题，另外基于每个厂家每种设备类型的配置定义模版，其创建、删除、修改的过程容易出错。随着网络规模的增大、复杂性的增加和异构性的增强，传统的管理方式已经不能满足网络发展的需要。

通过编排器调用控制器的YANG模型完成业务统一配置下发，实现各厂家设备的业务管理和数据配置，屏蔽异构厂商细节，适用经常重复调用的配置需求场景，详细方法如图8所示。

4.2 固移业务QoS编排

随着城域网固移融合的不断演进，控制面和转发面产生大量信令交互，同时移动宽带网VoLTE、游戏加速等高QoS 级别业务的开展，对关键业务流的可靠传送也提出了更高要求。要在综合承载网关MSG 及路由器上进行QoS 配置，对固网及移网进行不同优先级标记，才能保证移网业务的高优先级，从而对其进行端到端质量保障，详细方法如图9所示。

本方案的业务编排方法可以提升网络支撑能力和管理能力，节省工程投资。主要的创新点如下。

a）灵活的编程定制能力：可以基于用户业务进行灵活的定制编程。

图8 业务统一配置下发

图9 固移业务编排

b）全局的控制调度能力：管理系统具有整网视角，可以基于整网的流量进行调度和调整。

c）开放的网络构建能力：打破传统网络设备封闭的管理控制方式，快速地部署构建整个网络。

d）简化的运维部署能力：支持开放的接口，通过开放接口可以开发一些丰富的运维应用，简化系统的运维和部署。

e）可视的状态呈现能力：实时监控资源变化，实现整个网络可视化，方便用户运维管理。

5 结束语

本文结合广东联通网络现状，研究了一种城域网异厂家编排协同器的系统架构、功能模块及业务流程，该研究成果可应用在城域网中，可实现业务统一配置下发，通过业务编排实现自动化申请、使用、释放网络资源，集中式的调度系统可保障移动业务的高QoS，充分保证移动用户的感知，提升网络支撑能力和管理能力。