张钰哲，张 泉，杨 杉

（1.武汉市第二中学，湖北 武汉 430010；

2.国网湖北省电力公司信息通信公司，湖北 武汉 430077）

基于MPLS VPN的高可靠性数据通信网设计与实现

张钰哲1，张 泉2，杨 杉2

（1.武汉市第二中学，湖北 武汉 430010；

2.国网湖北省电力公司信息通信公司，湖北 武汉 430077）

为了提高数据通信网的可靠性和可用性，提出了基于同步数字体系（SDH）和光传送网（OTN）双平面的网络架构，并在此基础上详细探讨多协议标记交换 (MPLS)虚拟专用网络(VPN)业务接入及流量工程在服务质量保证和快速路由重启过程中的应用与实现。

数据通信网；光传送网（OTN）；虚拟专用网络(VPN)；多协议标记交换(MPLS)

1 网络现状分析

目前，国网湖北省电力信息广域网采用分层拓扑结构，分为国网湖北省电力公司（以下简称省公司）核心节点和地市公司骨干节点。省电力公司配置2台核心交换机和2台核心PE设备（Provider Edge，服务提供商边缘路由器)之间采用“口字形”方式连接，实现服务器区业务的接入；地市公司配置2台骨干PE设备，与省核心PE采用“口字形”方式互联。上联省电力公司核心PE的二条链路传输带宽分别为622 Mbps和155 Mbps，因此，各地市公司到省公司至少需要配置两条独立的SDH传输通道。同样，国网湖北省电力应急指挥系统、行政高清会议电视系统、95598语音等业务系统均采用类似的组网架构，配置专用的传输设备和网络，并通过SDH专线方式组网以保证各业务系统的传输带宽和安全可靠性。

但随着智能电网的建设，电力生产信息化业务日益增多，基于SDH专线组网方式已远远不能满足业务增长的需求；且各系统均需重新组建自己的数据承载网和分配专用的传输带宽，易造成传输带宽较浪费。同时，各系统设备独立造成设备繁多，设备资源和带宽资源不能充分利用[1]。目前，众多地市电力公司已建成基于SDH的区域性数据通信网[2-4]，但SDH的传输带宽不能满足省级数据通信网的业务需求。随着OTN技术在电力通行行业的广泛应用[5-6]，构建基于OTN光承载网的多业务数据通信网成为了电力通信网的必然趋势。针对省级大型数据通信网的业务需求，本文提出一种基于SDH和OTN混合组网的高可性数据通信网架构，并详细讨论了省级数据通信网的路由策略部署和业务接入方式。

2 数据通信网网络架构设计

为提高网络的可靠性，遵循N-1的可靠性设计原则，数据通信网核心层按主备冗余方式配置PE设备和CE设备(Customer Edge,用户边缘设备)，省级数据通信网络架构如图1所示。在省核心层，省调配置两台核心PE设备，备调配置一台核心PE设备，省调两台核心PE设备与备调PE设备之间均采用10GE OTN光传输网和GE SDH传输网双链路互联，从而形成双平面、热备交叉连接。

在各地市公司骨干层及省公司本部，各配置两台国网边界PE设备、城域网PE设备和两台CE设备。地市公司国网边界PE设备与省公司核心PE设备采用10GE（OTN光传输网承载）+622 Mbps（省10G网承载）链路互联，另一台边界PE设备与备调核心PE设备采用2*GE（OTN光传输网承载）+155 Mbps（省10G承载）链路互联。从而在骨干层形成了基于OTN和SDH两种不同技术体制的数据通信承载网络，并且每个地市公司拥有4条上行链路，极大地提高了数据通信网的可靠性。

各个地市公司的2台城域网核心PE设备均以10GE链路与各自站点的2台国网边界PE设备互联，实现与国网数据通信骨干网的互联。而各县公司所属的接入层则分别配置1台接入PE设备、1台接入CE设备，每节点接入PE设备分别与骨干节点两台骨干PE设备分别采用155 Mbps接口互联，保证了上行链路的N－1可靠性。而省公司直属单位及地市公司直属单位分别采用就近接入的方式接入到所属上级单位的骨干PE设备上。

图1 省级数据通信网网络架构Fig.1 Architecture of provincial data communication network

3 MPLS VPN业务接入方案设计与实现

3.1 路由协议

根据扁平化原则，国网数据通信网将延伸至地市公司，原省公司数据通信网与国网数据通信骨干网融合，各地市城域网采用独立的自治域，从而以多自治域方式实现电力数据通信网络的扩展。省公司广域网骨干区域与国家电网公司数据通信骨干网将属于同一个ISIS(Intermediate System to Inter⁃mediate System)路由协议进程，同属于Level-2的自治域。因此，全省使用IS-IS协议作为省内数据网的IGP协议，而每个地市都运行Level-2，设置不同的自治域。对于跨域VPN部署，有背靠背VRF连接、单跳多协议MP-eBGP和多跳多协议MP-eBGP三种方式[7]。考虑到未来电力通信业务的发展需求，省级数据通信网选择最后一种方式，而没有采用简单保守的Option A或Option B方式。

在不同的自治域之间需要使用外部网关协议，传统外部网关协议（EGP）不支持环路拓扑结构，它可以存在于自治域内，而不能存在于自治域之间；同时，即使在网络拓扑是稳定的情况下，也经常传送全部路由表。BGP协议（Border Gateway Protocol）是基于TCP的，连接比较可靠；同时，采用触发式更新，只修改更新部分，支持地址聚集特性，可以节约C类IP地址资源。不同版本的BGP也通过谈判特性可以相互支持，互操作性、兼容性较好。 因此，地市数据通信网与国家电力数据通信网络域间路由协议宜采用BGP-4协议。

省电力数据通信网的路由总体方案可以设计如下：

（1）将国网数据通信网延伸至地市公司，省、地市公司均在国网数据通信网域内。其中省公司PE在AS 64600中；地市公司新建2组PE（4台），其中2台PE作为各地市公司在骨干网自治域AS 64600的边界PE设备，另外2台路由器为各地市公司独立自治域的核心设备。

（2）域间路由协议在网络中起着承载、分配和控制外界路由的作用。省、地市公司网络内部实现路由扁平化，在省公司内形成以数据通信骨干网BGP AS和地市BGP AS为实体的两层BGP AS架构，各地市采用全网唯一的BGP AS号仅与骨干网BGP AS直接形成eBGP邻居关系，不交互IGP路由。

（3）域内路由协议在网络中起着连通骨干、路径选择和自动路由迂回的作用。网络IGP路由协议统一设计，推荐采用IS-IS协议。

（4）为了支持基于MP-BGP（BGP多协议扩展）的MPLS VPN，PE与PE之间还必须运行MP-BGP，主要用于承载网络中MPLS VPN私网路由。

省公司设置2台RR路由反射器，作为国网及省公司AS域的路由拓扑计算与分发。相比较采用核心PE或骨干PE作为路由反射器，采用独立设备作为路由反射器可以显著地减少IBGP连接的数量，且减轻核心PE设备和骨干PE设备设备负担，从而实现控制（路由反射）和转发分离，提高设备效率，保障网络可靠性。而各地市自治域中，城域网路由设备数量较少，可以由地市公司城域网骨干PE设备兼作RR路由反射器，作为地市公司及所辖县公司业务接入时路由拓扑计算与分发。

3.2 MPLS VPN设计与实现

基于BGP扩展实现的L3 MPLS VPN网络包含骨干核心P设备（Provider Router）、骨干网边缘路由器（PE）和用户网边缘路由器（CE），三者分别用于MPLS转发、L3 MPLS VPN实现和VPN业务接入。P设备只参与骨干IGP的路由，完全依据MPLS的封包来作出前传决定，不需要读取原始的数据包信息来作出前传决定，不需要拥有VPN的路由信息。骨干网边缘路由器与用户网边缘路由器之间要交换路由信息可以是通过静态路由，也可以通过RIP、OS⁃PF、BGP、IS-IS等。因而当采用BGP MPLS VPN技术时，用户侧的原有路由协不需要修改和重新配置。骨干网边缘路由器至与用户网边缘路由器之间需要运行MP-BGP协议，存在可扩展性问题，但采用路由反射器可以显著地减少IBGP连接的数量。

VPN业务接入方式一般有CE接入方式、802.1Q Trunk接入方式和MCE（Multi-VPN-instance CE）接入方式。考虑到省公司业务重要性，在数据通信网骨干层采用MCE接入方式。骨干节点配置二台具有Multi-VRF功能的三层交换机作为MCE，用作MPLS VPN接入网关；将不同的业务（VPN）设置在不同的VLAN中，MCE与PE交换VPN路由表（VRF），为不同的业务提供单独的VPN路由转发表，并通过它与PE设备对应的VRF进行路由交换，实现端到端的MPLS/VPN的解决方案，实现VPN隔离，但全网相同VPN可自由通信。

在城域网中，MCE交换机把每个VPN捆绑到相应的VLAN中，通过802.1Q trunk的方式把VLAN的划分传递到城域网（或局域网）二层交换机上，通过VLAN技术进行业务隔离；在用户接入侧将该用户划入二层交换机的某个VLAN，通过802.1Q Trunk链路上联到MCE，MCE将802.1Q Trunk端口的VLAN对应到其相应MPLS VPN的VRF，最终实现隔离VPN路由信息的功能，由此也将MPLS PE的VRF VPN范围扩展到了接入层设备和客户桌面系统。通过VLAN-VRF的对应，单个业务系统可以在整个网络中保持连通，但由于不同业务采用不同VRF配置，彼此在路由上完全隔离,见图2。

图2 城域网业务接入示意图Fig.2 Architecture of provincial data communication network

在VPN业务转发过程中，属于相同VPN的两个CE之间转发报文使用两层标签来实现，在入口PE上为报文打上两层标签：外层标签用于骨干网内部进行交换，表示从PE到对端PE的一条隧道，VPN报文打上这层标签，就可以沿着LSP到达对端PE；内层标签用于PE到CE间的报文交换，当报文到达对端CE时，可以指示报文应转发到哪个CE，因此内层标签可表示经骨干网互联的两个CE间的隧道。

数据通信网核心层和骨干层采用双PE和双CE的全冗余连接结构，CE和PE之间采用动态路由协议，实现负载分担和链路备份，可以用来保证关键业务的可靠性。MPLS/MBGP VPN可以简化对用户端设备的需求和用户管理、维护Intranet/Extranet的复杂性，每个CE仅需要维持一个到PE的路由交换协议，CE间的路由交换、传输控制、路由策略由运营商根据VPN用户的需求来实施。由于BGP的策略控制能力很强，随之而来的是VPN用户路由策略控制的灵活性。MPLS/BGP VPN提供了灵活的地址管理。由于采用了单独的路由表，允许每个VPN使用单独的地址空间中，称为VPN-IPv4地址空间，RD加上IPv4地址就构成了VPN-IPv4地址。很多采用私有地址的用户不必再进行地址转换NAT。NAT只有在两个有冲突地址的用户需要建立Extranet进行通信时才需要。

3.3 MPLS VPN QoS的实现

数据通信网通过MPLS VPN实现业务的逻辑隔离，但其物理传输通道是共享的，不同业务之间会竞争通道资源，导致其应用系统服务质量无法得到保障[8]。因此，在数据通信网实现过程中，会通过部署配置MPLS流量工程（MPLS-TE）为业务配置QoS保障[9]。

在IP网络中，通常有多条路径可到达目的地，选择路由时，无论采用何种路由协议（IGP/OSPF/ ISIS等)，都会计算出一条“最佳”（最短）路径。而在实际情况中，仅仅依赖于路由协议OSPF等，可能会造成某些中继上业务流量很大，另一些中继上业务流量不足，形成网络流量不平衡，容易造成拥塞。为了避免此情况，可采用MPLS-TE机制。MPLS-TE利用可用资源建立标签交换路径（LSP），将业务流根据路由协议计算得到的最短路径转移到网络中潜在的、具有较少阻塞的物理路径上去，平衡网络中的各种链接、路由器和交换机上汇聚的业务负载，为路由转发和网络流量提供更精确的控制，从而更经济、更有效地使用整个网络的带宽资源，提高数据通信网的性能、效率和可靠性。

同时，利用MPLS-TE机制结合区分服务模型，将承载的通信业务划分成不同类别，并根据业务所属类别（低延迟或高带宽等）区分服务。在区分服务模型中，将网络中的业务划分为有限的服务类别，而不是按信息流来统计；同时，业务分类、整形等复杂的处理，只在边界PE设备上进行。从而可以利用网络内部的路由器的数据转发能力，避免链路带宽和缓存空间等资源紧张。

同时，在数据通信网中配置快速重路由技术，通过链路保护和快速重新路由等机制实现故障发生时快速恢复。保护链路切换时间小于50 ms，可在链路出现故障的情况下实现对IP流量的保护，使上层IP服务业务不受影响。针对关键的链路，快速重路由技术利用RSVP技术协议进行链路备份。当主用LSP故障时，可在很短时间内切换到备用LSP上。通过调整RSVP带宽预留协议的Keep-alive时间，可以控制在200～300 ms。如果不采用MPLS快速重路由技术，只能经过发现故障、IS-IS路由收敛、标签分发后才能重新建立LSP2传送，通常需要1～2 s。

在完成数据通信网部署后，对各地市公司到省公司、省备调的OTN光传输网和SDH承载网的链路进行了倒换测试，即使OTN主用通道、OTN备用通道完全中断时，也能通过SDH通道保证电力通信业务的可靠性；同时，链路中断后，可在1 s内切换至其备用通道。

4 结语

新建的IP承载网络采用MPLS VPN组网技术，将各个地市公司划分为不同的AS域，域内采用IS-IS协议，域间采用BGP-4协议；根据业务类型划分为信息VPN、视频VPN、语音VPN、调度VPN等7个VPN，以后各个业务逐步承载在新建的数据通信网，改善了地区现有网络混乱的现状。骨干及核心设备均采用双冗余口字形上联，极大地降低了设备及链路故障产生的风险。充分利用新建OTN网络大容量的带宽资源，采用10GE+2GE的组网方案，极大的丰富了省公司与地市公司的电力通信业务带宽；同时利用原有基于SDH网络的622 MB+155 MB带宽，作为省公司到地市公司传输第二平面，保证了传输层面高度的可靠性。这种基于OTN和SDH的混合组网方式，极大的提高了电力通信网络的带宽和可靠性，为建设坚强的智能电网提供了强有力的保证。

（References）

[1]尹少鹏.“十二五”数据通信网发展建设的研究[J].电力系统通信，2011(5):70-76.

YIN Shaopeng.Research of the Development and Construction of the Data Communication Network for the"12th Five-Year Plan"[J].Telecommunications for Electric Power System,2011(5):70-76.

[2]张淑娟，段敬.山西电力数据通信网容灾设计与实现[J].电力信息与通信技术，2013,11(12):116-121.

ZHANG Shujuan,DUAN Jing.Shanxi Electric Power Data Communication Network Design and Implemen⁃tation of Disaster Recovery[J].Electric Power Infor⁃mation and Communication Technology,2013,11(12): 116-121.

[3]孙国善，徐飞，田锁太，等.内蒙古电力通信业务数据网的设计[J].电力信息与通信技术，2015,13(6): 36-39.

SUN Guoshan,XU Fei,TIAN Suotai,et al.Design of Inner Mongolia Power Communication Service Data Network[J].Electric Power Information and Commu⁃nication Technology,2015,13(6):36-39.

[4]俞浩.基于MPLS VPN的地区通信数据网络设计与建设[J].中国新通信,2014(3):112-114.

Yu Hao.Design and construction of regional com⁃munication data network based on VPN MPLS[J]. China New Telecommunications,2014(3):112-114.

[5]张雪宁.OTN技术在电力通信传输网中的应用[J].信息安全与技术，2015(4):83-84.

ZHANG Xuening.OTN Technology in the Power of Communication Transmission Network[J].Information Security and Technology,2015(4):83-84.

[6]胡威，赵占领，厉立国，等.基于OTN光承载网的IP数据网络方案研究[J].计算机仿真，2015,32(9):311-313.

HU Wei,ZHAO Zhanling,LI Liguo,et al.Research on IP Data Network Scheme Based on Optical Transport Network[J].Computer Simulation,2015,32 (9):311-313.

[7]徐志强，吕舟，徐坤.电力综合数据网跨域VPN部署探讨[J].中国新通信,2014(3):1-2.

XU Zhiqiang,LV Zhou,XU Kun.Discussion on VPN deployment in cross autonomous system for electric power integrated service network[J].China New Com⁃munication,2014(3):1-2.

[8]吴鹏，吴军民，刘川，等.软件定义网络在电力数据通信网中的应用研究[J].信息技术，2014(1)：52-55.

WU Peng,WU Junmin,LIU Chuan,et al.Research on the application of software defined network in electric power data communication network[J].In⁃formation Technology,2014(1):52-55.

[9]谢一，王贤亮，周俊成，等.基于MPLS技术的通信综合数据网优化管理[J].电信网技术，2015(8):67-70.

XIE Yi,WANG Xianliang,ZHOU Juncheng,et al. Based on MPLS Technology to Optimize the Man⁃agement of Communications Integrated Data Network [J].Telecommunications Network Technology,2015 (8):67-70.

Design and Implementation of High Reliability Data Communication Based on MPLS VPN

ZHANG Yuzhe1,ZHANG Quan2,YANG Shan2
（1.Wuhan No.2 Senior High School,Wuhan Hubei 430010,China；2.Information&Telecommunication Branch of State Grid Hubei Electric Power Company, Wuhan Hubei 430077,China)

In order to improve the reliability and availability of data communication network,a Dual-plane network architecture is proposed in this article based on SDH(synchronous digital hier⁃archy)and OTN(optical transport network),and service access of MPLS(multi-protocol label switch⁃ing)VPN（virtual private network）and implementation of MPLS traffic engineering in data communi⁃cation network for quality-of-service guarantees and fast re-route are deeply discussed.

data communication network;optical transport network(OTN);virtual private network (VPN)；multi-protocol label switching(MPLS)

TP393

A

1006-3986(2016)04-0057-05

10.19308/j.hep.2016.04.013

2016-03-12

张钰哲（1999），男，湖北武汉人。