何朔 祖立军 袁航 孙祥安

摘要：由于金融机构业务的自身特点，其网络建设也比较特殊，物理层多采用“单区专线专用”的方式进行数据隔离，在网络层和应用层多采用IP路由技术，然后逐跳配置策略路由来进行路径控制，存在资源复用能力及突发情况应对能力不足。下一代金融跨中心网络互联方案设计以Segment Routing技术为基础，引入逻辑隔离、虚拟传输隧道的理念对网络进行了重新设计，并对该方案进行实际组网测试。在功能、性能都达到预期之后，方案在中国银联跨数据中心互联网络中部署应用。

关键词：Segment Routing;金融跨数据中心网络;流量调度

中图分类号：TP3 文献标识码：A

文章编号：1009-3044（2020）18-0022-05

开放科学（资源服务）标识码（OSID）：

跨数据中心网络是金融机构网络基础平台的重要组成部分。长时间以来，金融机构跨中心网络主要承载传统交易类业务，报文结构单一，流量平稳且可预测。因此传统金融跨数据中心网络的设计，主要是围绕IP路由打通、冗余线路热备的核心理念展开的，主要目标是满足数据中心间通讯的可达性和业务的可靠性要求。

近年来随着金融数据中心云化、金融移动互联网业务快速发展以及多活数据中心的建立，上层业务模式的变化触发了金融跨中心网络的“新常态”：数据报文构成日益复杂，带宽需求不断提高，突发性流量愈发常见等。但在传统跨中心网络技术框架下，无法有效应对这些“新常态”，因此产生网络波动并导致业务系统异常。

同时随着未来SG、物联网、边缘计算等技术与金融业务的不断深化融合，金融跨中心网络的服务边界将会进一步扩展（5G承载网、边缘计算网关接入），网络规模将急速扩大，资源差异化提供的颗粒度的要求也会不断提高。而当前金融跨中心网络的资源差异化水平以及整网的管理运营水平远远达不到未来需求[1]。

基于当前以及未来发展需求，基于Segment Routing技术的新一代金融跨数据中心网络互联方案解决了网络“新常态”的各种问题。

1 金融跨中心互联网络现状与问题分析

1.1金融跨中心互联网络现状

针对当前金融跨中心网络结构状况，我们将其分为物理层、网络层和业务层。

（1）物理层。为保证数据传输的安全性及可靠性，金融机构采用租用通信运营商专线的方式实现数据中心间网络物理连通。专线、网络设备均采用冗余方式，形成故障高可用机制。不同业务接人区采用“物理设备分割，单区专线专用”的方式进行数据隔离。

（2）网络层。金融跨中心网络采用IP路由技术进行组网，通过部署EIGRP、OSPF等动态路由协议，结合路由重发布等技术，做到异地数据中心间的路由学习和打通，进而实现异地数据中心之间的数据传输。

（3）业务层。采用配置静态路由、策略路由的方式，对业务流量在跨中心网络中的传输路径进行强控制。

1.2 传统跨中心网络方案问题分析

1）网络分区物理隔离，无法实现设备及专线资源的复用

传统金融跨中心网络采用的是单平面IP组网的技术架构，因此只能采用物理资源分割的方式进行不同接人区的数据隔离。这会产生三个方面的问题：一是过多的设备、专线投入，导致跨中心网络建设成本过高;二是组建新的業务接人区，涉及底层网络基础设施的改造，时间周期长（特别是拉通专线的环节需要等待很长时间），无法满足创新业务快速上线的需求;三是使得整个跨中心网络拓扑复杂化，更加难以管理维护。

2）应对网络突发情况的能力不足

多年来，金融跨中心网络承载报文简单，数据量小，专线带宽利用率较小。但现在随着业务的快速发展，跨中心专线带宽利用率已经大幅提高，许多接人区甚至拉通多条专线以满足转发需求，如图1所示。在承载流量大幅增加的情况下，传统金融跨中心网络方案应对突发情况能力不足的问题逐渐凸显出来。

（1）突发流量应对能力不足

传统金融跨中心网络采用配置静态路由和策略路由的方式对流量路径进行控制。该方式需要在每个组网节点上进行配置，效率较低且难以管理，容易出错。由于当前专线带宽利用率已经较高，一旦某接入区业务出现流量突发情况，若分流不及时则很容易导致网络阻塞，从而对业务连续性带来影响。

（2）突发故障应对能力不足

传统跨中心网络方案采用两条专线互为主备的方式，来应对专线故障的情况。由于之前跨中心网络承载流量较小，即使一条专线出现故障，剩余的一根专线仍能够较好地承担转发任务。但当前专线负载流量较大，若仍采用互为主备的方式，一旦发生故障，则备用专线无法承载切换过来的数据流量，反而致使其也被阻塞甚至压垮。

3）采用封闭的路由协议，难以扩展

由于老一代的跨中心网络建设时间较早，因此采用了一些厂商专有的封闭路由协议（如EIGRP协议）进行组网，不利于其他厂商设备的接入，影响跨中心网络的扩展性。

2 新一代金融跨中心互联网络能力规划

基于上述问题，我们对下一代金融跨中心网络进行如下的能力规划。

（1）引入VPN能力，实现网络虚拟隔离

新一代跨中心网络方案引入网络虚拟隔离的VPN技术，来替代现有的物理隔离方式，实现底层网络设备及专线资源的复用，进而降低跨中心网络建设投入成本，简化组网拓扑，减轻运维压力。

（2）增强网络流量工程能力

传统跨中心网络流控手段单一，效率较低，在网络负载较高的情况下，无法有效应对突发情况的发生。因此新一代跨中心网络要不仅要保证常态情况下业务数据的平稳传输，更要增强对突发情况的应对能力。通过网络流量工程稳固高负载情况下的网络稳定性，提高突发性状况下网络处理能力[2]。

（3）采用开放式协议及技术进行组网

随着业务发展，未来金融数据中心的数量还会持续增多。为防止在技术方案层面被设备厂商绑定，影响跨中心网络的平滑展，新一代跨中心互联网络方案所采用的技术必须保证开放性，能够兼容多厂商设备的接人。

3 基于Segment Routing技术的下一代金融跨中心网络互联方案设计

3.1 Segment Routing技术概述

Segment Routing（直译为分段路由，以下简称SR），是由IETF SPRING_工作组进行标准化的基于标签的新一代网络传输技术。其本质是一种源路由协议，只在网络边缘节点就能够维持数据在整网的传输状态，这使得SR非常适合于超大规模网络接入部署，且极大地简化网络运维工作量。同时，SR也为网络提供了高度的可编程能力以及端到端的流量工程能力。因此在出现仅短短五年后，SR已经成为业界共识，成为5G、物联网时代新一代网络的事实SDN架构标准[3]。

3.2 基于SR技术的下一代金融跨中心网络互联方案设计

3.2.1金融跨中心网络物理层设计

在物理层面主要是对金融跨中心网络的拓扑结构进行设计，将其分为两层：一是数据中心之间互联拓扑设计;二是数据中心内部拓扑设计。遵照从外至内的逻辑，首先对数据中心之间互联拓扑进行设计。

1）数据中心间互联拓扑设计

随着业务发展，金融数据中心已开始从“两地三中心”向“多地多中心”的架构演进。在此基础之上，业务高可用形态也会由“多活”模式逐步取代“灾备”模式。因此，未来金融数据中心的角色也会发生变化，根据其承载业务与组建形式不同，数据中心大致可以分为三类：

（1）主数据中心。承载核心的、基础的、全国性的业务，并由金融机构自身进行基础设施建设;

（2）分数据中心。承载创新型的、具有特定功能和地域性的业务，并由金融机构自身进行基础设施建设;

（3）IDC中心。租用外部现有机房资源，附属主数据中心存在，缓解主中心资源紧张的解决方案;承载创新型的、具有特定功能和地域性的业务。

基于上述情况，如仍采用数据中心间全互联的方式，虽可实现极致的高可用，但一方面专线数量太多，建设成本高且容易造成资源浪费，且难以运维管理;另一方面IDC通信依赖数据中心。因此在本方案中，我们采用跨中心网络双环互联的设计方式，具体如图2所示。

采用主数据中心全互联，分数据中心就近连接两个主中心的方式，来取代数据中心间全互联方案。有效减少了专线的数量，且仍能够保证较强的通信可靠性。这也就形成了方案二中双环的第一个环：数据中心通信环。

通过实际调研发现金融机构不同IDC内的业务是具备强相关性的，如上海主中心将A业务放人了IDC中，那么其他主中心也会将A业务放人IDC。IDC之间较强的业务相关性也就使得不同IDC之间存在较多的互访流量。基于此，我们也专门为IDC之间的通信打通接口，形成方案二中双环的第二个环：IDC通信环。

最后，在方案而中针对专线带宽也进行了规定：主中心之间专线带宽最高，分中心到主中心其次，IDC之间最低。

2）数据中心内部拓扑设计

针对数据中心内部拓扑结构，我们采用了业界经典的三层架构设计（从内到外依次为CE、PE、P），保證各层设备功能明确，并对数据中心内外的功能进行解耦。各设备的具体功能如下。

CE：数据中心核心路由器，为中心内部设备，作为骨干网的业务接入设备，不引入标签转发功能;

PE：数据中心骨干边界路由器，为跨中心通信设备，核心节点区域汇聚，标签转发区域头结点，负责VPN相关业务配置;PE与CE之间采用全连接模式，最大限度保证中心内部业务流量的高可用性;

P：骨干核心路由器，为跨中心通信设备，负责核心骨干网的高速转发，中间转发节点;P与PE之间采用“口”字形的连接方式，保证调度灵活性的同时对内部流量路径进行规整[4]。

3.2.2 金融跨中心网络网络层设计

在网络层面，本方案中也进行了分层规划，并对每一层的角色作用进行了定义，具体如下。

（1）基础路由层（Underlay层）：负责底层路由打通，支撑上层协议通信，承载SR标签信息通告转发。

（2）数据转发层（Overlay层）：负责基于SR技术对具体业务数据的转发，具体流控、故障切换等相应功能在该层实现。

（3）安全隔离层（VPN层）：负责数据的安全隔离性，实现网络的逻辑隔离能力。

1）基础路由层（Underlay层）设计

下一代金融跨中心网络Underlay层设计方案具体如图3所示。所有PE与P节点部署OSPFv3协议，通过内联接口的IP地址，建立路由邻居，使得整个跨中心路由域中所有设备节点之间可进行通信;随后，CE与PE设备启用EBGP协议，仍通过双方直联接口IP地址建立邻居关系;最后CE与PE将需要跨中心通信的路由，通过宣告的方式发布到数据中心内外路由域，实现CE到PE之间的路由打通[5]。

基于此，跨中心网络底层路由已经全部打通。当前已与传统跨中心网络在能力上一致，业务数据已能够通过路由转发的方式实现跨中心的通信。后续即在该基础上，叠加流控与逻辑隔离能力。

2）数据转发层（Overlay层）设计

网络Overlay层设计方案具体如图4所示，在所有PE与P设备上都启用MPLS-SR与SRv6协议，使跨中心网络的具备强流控能力的标签转发域。可以看出跨中心流量的转发处理逻辑：CE到PE是IP转发域，流量仍基于路由进行传输;PE节点以后则是标签转发域，从PE出接口处建立SR标签隧道，流量被放入隧道中完成转发。

3）安全隔离层（VPN层）设计

基于对VPN层的定位，确定其设计核心思路：启用VPN技术，实现基于统一的物理网络构建多张虚拟化逻辑网络的能力，保障不同业务的安全隔离需求。如图5所示，在CE与PE节点全部启用VRF能力，白CE人接口到PE的人接口之间，建立VPN传输通道;不同数据中心的PE之间通过MP-BGP协议实现VPN信息协同。随后在PE节点，将不同VPN的数据流量通过SR隧道传输。对端PE接收到数据后，再将不同VPN数据引入到不同的VRF里，进而实现跨中心网络的虚拟化隔离能力。

3.2.3 金融跨中心网络业务层设计

在业务层，为满足灵活的流量调度需求，在本方案中设计实现了基于DSCP染色的细粒度、差异化的网络服务能力，即能够为不同业务、应用甚至应用流量提供不同的网络传输通道，以满足其对网络的差异化需求。在此过程中，首先要能够精细化的识别到不同流量，随后再根据流量的网络需求，建立契合的网络传输通道。流量的细粒度识别，目前大部分网络设备都已可对VPN内部的流量进行基于五元组（源IP、目的IP、协议号、源端口、目的端口）的识别。因此本文设计的重点在于流量需求与差异化的网络通道契合的过程[6]。

（1）差异化网络通道提供能力

SR技术是通过建立虚拟网络隧道的方式，为数据提供转发通道。在建立隧道的过程中，SR支持基于链路为隧道设置路径。不同的传输路径，就会使得SR隧道具有不同的时延、带宽，也就给数据带来了差异化的传输体验。基于此，我们就可将差异化网络通道的提供能力具象化为不同传输路径的SR隧道创建能力。

传统网络中，基本上只从带宽、时延两个维度来对网络通道进行划分。而在本方案中，我们为了进一步细化网络需求，将从带宽、时延、优先级、隔离性四个维度来对不同的网络通道，即SR隧道进行划分。具体含义如表1所示。

（2）基于DSCP的网络需求映射能力设计

在上文中，我们识别出了不同的流量，也创建了服务能力多样化的SR隧道，但是如何将不同的流量与不同的传输通道对应起来，使设备能够照既定逻辑自动为流量找到其需要的转发通道。在这里，我们就采用基于DSCP染色技术，对上述能力进行实现。

DSCP，即差分服务代码点（Differentiated Services CodePoint），是IETF发布的一个标准的IP报头字段，其长度有8位。每个标准IP报文都带有DSCP字段。因此我们设想，将流量对网络通道的质量需求，根据一定的规则，写入其DSCP字段中。这样PE设备即可根据流量自带的DSCP值，将其引入不同的SR隧道中即可。基于此，我们对DSCP的8位信息进行了规划，具体如图6所示。取其前三位，表示流量所需的传输优先级;3、4两位表示流量对网络的带宽要求;1、2两位则表示时延要求;第0位则代表其隔离性要求。各段具体分类解释如表2所示。

（3）细粒度、差异化网络服务能力实现

下面结合一个具体场景，举例分析在跨中心通信场景下为数据提供差异化网络能力的具体实现。如图7所示，有流量需要跨中心从A传送到B。首先当流量到达PE节点后，即开始在人口处进行流量识别。识别到不同的业务流之后，依旧在PE人口处，根据该业务流量对网络的要求，按照表2中的赋值逻辑，对流量的DSCP值进行染色。

以业务1流量為例，其重要性高，数据量大，对时延要求高，且需要独立的传输通道。根据这些要求，就可根据表2逻辑，在PE入接口处将其DSCP值配置为：11110101。

随后，就需要根据其需求确定业务l的传输路径。由于转发优先级是在设备接口上根据预设QoS策略进行实现，独立传输通道是指是否独享SR隧道，因此这两点的需求不会对路径规划产生影响。所以将根据专线链路的带宽、时延状态来确定业务1流量的传输路径。如图7所示，将所有A到B的传输路径进行了评估，并得出路径1最适合业务1的传送，作为业务1的主传送路径;随后根据备用路径带宽优先的原则（表2），将路径3作为备用路径。

最后根据业务1独享传输通道的原则，已路径1为主路径、路径3为备用路径，新建SR隧道。至此，跨中心网络即实现了针对精细分类流量提供差异化网络服务的能力。

4 下一代金融跨中心网络方案可行性验证

方案设计完毕后，为进一步验证方案应用落地的可行性，我们开展了测试验证工作。由于测试设备有限，将PE与P节点进行了合并，分别在两中心及三中心的场景下开展了测试工作，测试组网如图8所示。

4.1 下一代金融跨中心网络方案测试案例设计

本次测试，从组网可控性、资源隔离复用性、网流可调度性、组网可靠性、网络性能容量及网络可扩展性六个维度开展，各个测试维度的目标如下表3所示。

4.2 重要测试数据展示

由于测试案例较多，篇幅有限，无法将全部结果一一列出。这里我们摘取了一部分基础的、有代表性的测试数据供参考（表4所示）。

4.3 测试结果分析

针对上述测试结果，可看出本方案中各主线能力的实现效果。首先，可从流量路径规划测试中看出，在头节点为流量规划精细到链路级别的转发路径;结合基于业务流量调度测试数据，可以看出方案可为不同业务流提供不同的传输通道;从故障切换测试和路由故障测试中可看出，方案在面对突发的、比较严重的链路、路由进程故障时，在负载较大的情况下仍能做到毫秒级别切换和恢复，大大提高了跨中心网络的突发情况应对能力;最后容量测试，可看出方案在大的并发前提下，仍能保证功能正常运行，且性能并没受到较大影响，这就表明方案在长期运行状态下具备可靠性。

根据整体测试结果得出结论：测试结果符合设计预期，具备生产应用可行性。目前该方案已在中国银联的生产网络上线应用，且运行效果良好。

5 工作展望

目前，银联仍在积极推进金融跨中心网络及相关技术的深化研究和探索工作。后续工作计划从以下两个方面展开。

（1）下一代金融跨中心网络控制器研发

为推进跨中心网络的自动化管控运维，进一步发掘新一代方案的优势，我们后续将开展跨中心网络控制器的研发工作。借助网络控制器，不仅能够做到生产配置的自动下发，实现自动化;更重要的是要进一步推进智能跨中心网络的建设，比如借助AI技术，实现网络路径的动态优化以及整网流量的智能均衡。

（2）SR最新应用技术研究

SR作为在SG、物联网场景下被广泛应用的新技术，未来应用场景丰富，我们将进一步对其跟踪研究。当前已经针对SR网络硬隔离技术、SRv6网络可编程技术以及SR网络随波检测技术三个方向进行跟踪研究。

参考文献：

[1]陈华，基于SDN理念的广域网技术的探讨及实践[J].金融科技时代，2018（8）：37-40.

[2]何晓明，卢泉，邢亮.分段路由网络研究及其在流量工程中的应用[J].电信科学，2016，32（6）：186-194.

[3]刘强，石磊.Segment Routing技术及其应用分析[Jl.电信技术，2017（12）：56-58.

[4]臧韦菲，兰巨龙，胡宇翔.一种基于SDN的多路径流调度机制[J].计算机应用研究，2018，35（6）：1817-1821.

[5]黄建洋，兰巨龙，胡宇翔，等.一种基于分段路由的多路径流传输机制[J].电子学报，2018，46（6）：1488-1495.

[6]李根，伊鹏，张震.软件定义的内容中心网络的多域分段路由机制[J].计算机应用研究，2018，35（9）：2711-2715.

【通联编辑：代影】

基金项目：国家重点研发计划项目（2017YFB0803205）;上海市科技人才计划项目（18XD1423500）：金融云环境下的软件定义网络关键技术研究与应用;上海市青年科技英才杨帆计划资助（17YF1425800）：金融行业云关键技术研究及应用

作者简介：何朔（1978-），男，上海人，中国银联电子支付研究院副院长，高级工程师，硕士，主要研究方向为云计算、电子支付与电子商务等新技术。