孙丽玫，王迎春，唐利莉，王建明（中国移动通信集团设计院有限公司，北京 100080）

0 引言

随着5G、移动互联网、大数据、物联网等信息技术与经济社会各领域的深度融合，数据中心已成为数字经济、数字中国发展的重要载体和战略性基础设施。近年来，我国数据中心从规模到数量都有大幅增长。到2017 年底，我国在用数据中心机架总体规模达到166 万架，总体数量达到1 844 个；规划在建数据中心规模107 万架，数量463 个；其中大型以上数据中心为增长主力，在数据中心总体规模占比近50%，预计未来占比将进一步提高。基于业务需求、基础设施、网络经济、经济效益、运维管理等因素，全国数据中心布局逐步趋于合理。数据中心用户对数据中心的选择面进一步扩大。用户选择数据中心时，不仅要考虑价格成本、建设运维水平、服务商能力等因素，更要考量数据中心的网络质量是否满足业务需求。

1 业务需求与时延要求

互联网+时代全业务发展，数据中心用户对数据中心建设、网络质量提出了更高的要求，尤其是部分低时延业务，时延成为其选取数据中心位置、衡量数据中心网络质量的一个重要指标。

1.1 时延定义

时延是数据信号从信息业务用户至数据中心再回到信息业务用户间的传输时间，当时延过大时用户的感知体验下降，部分对时延敏感的业务端情况甚至会影响到其收入，因此时延成为用户选择数据中心的主要考虑因素之一。需要说明的是，本文将数据中心用户定义为：通过自建或租用数据中心，为公众或企业提供信息服务的互联网内容提供商ICP、企业、媒体和各类网站；信息业务用户定义为：数据中心各类应用系统的最终客户，如个人用户、企业用户等。

1.2 业务时延

不同的数据业务对时延要求各不相同。一般而言，面向业务用户、需要及时处理的业务对时延要求高，称为低时延需求，如云支付、游戏等业务为低时延需求业务，时延要求为5～10 ms；而网页浏览等业务，一般要求在50 ms 内；数据备份存储、大数据处理等业务，一般在200 ms内。

随着技术的发展，低时延需求的业务种类逐步增加，目前主要有4 类：一是金融和电子交易类信息业务，如期货等高频交易（HFT——High Frequency Trad⁃ing）的电子交易类业务，时延要求是2～10 ms；二是基于TCP 协议的高清视频类业务，包括4K/8K 高清视频直播和点播业务、高清视频会议以及未来的虚拟现实（VR）等实时性要求极高的大带宽业务，时延需求20 ms以内；三是部分云业务，特别是虚机迁移、数据热备份和实时性要求比较高的云桌面、云支付等业务，云支付需求为10 ms，云桌面需求为20 ms；四是即将到来的5G 移动网络的传送承载业务，如车联网、工业控制等业务，其网络时延需求为3～5 ms。

金融交易、云支付等业务提供方在选择数据中心时，网络时延是首要衡量指标。美国咨询公司TABB Group 在2008 年的《The Value of a Millisecond：Find⁃ing the Optimal Speed of a Trading Infrastructure》研究报告中指出，对于一个在美国电子交易市场的交易公司而言，如果其交易系统处理时间（包括传输时延）比竞争对手慢5 ms，它将损失1%的利润，慢10 ms 则损失扩大至10%。

1.3 时延组成

以数据包端到端传输过程来分析，时延由以下2部分组成：

a）访问请求路径：信息业务用户端—网络传输—数据中心。

b）资源下载路径：数据中心—网络传输—信息业务用户端。

其中网络传输涉及的设备或组件有信息业务用户端的计算机网卡、网络设备、传输设备、服务器、处理平台等，每个网元转发数据包和经过的光纤传输所消耗的总时间，就是业务端到端时延。

业务端到端时延=数据中心外部网络时延+数据中心内部网络时延+系统处理时延

系统处理时延是业务应用系统处理数据包的时间，主要由CPU、GPU 处理能力决定。数据中心内部网络时延由数据中心内部网络架构和设备能力决定，正常情况下，数据中心内部网络时延一般为ms 级，部分数据中心承诺为1 ms。数据中心外部网络时延与通信网络质量、数据中心位置相关性高，且在整个业务时延中占比较大，本文将主要分析数据中心外部网络时延。

2 影响数据中心外部网络时延的要素

互联网数据包是由传送网络和业务承载网络来进行传输，因此数据中心外部网络时延，一般由传送时延和路由时延组成。

2.1 传送时延

传送时延与数据包传送的距离、传送节点数量和传输设备能力相关。一般而言，传送时延由传输时延和传输节点时延2个部分组成。

2.1.1 传输时延

目前的传输网络主要以光作为传输媒质的光传输系统，传输时延和传输距离成正比，即5 μs/km。

2.1.2 传输节点时延

传输节点时延是传输链路上每个单节点转发时延的总和。单节点转发时延与设备类型、设备技术等相关。从OSI 七层网络来看，L0 层网元引入时延为ns级、L1 层网元引入时延为μs 级。光传送网主要采用L0～L1 层，L0 层如光学器件时延为ns 级，传输光纤时延5 μs/km；L1 层如OTN 节点时延10～100 μs，SDH 节点时延100 μs级。

另外设备技术也会影响单节点时延，如100G 波分平台相比10G 波分平台时延要小10%左右；采用不同的FEC 算法，时延也不同，基本上每增加一次迭代，时延增加一倍；业务类型和映射方式也对时延有影响，一般而言支路侧速率越低，映射路径越长，封装时延越长。但总的说来，其时延基本在μs级。

节点数量则和网络层次、网络结构、业务需求、传输系统能力相关。网络层次越高（如国际、省际）、层次越少，单位距离内的节点数量越少；网络结构复杂、业务需求节点数量多，单位距离内节点数量越多；在没有业务需求情况下，传输系统能力越强，单位距离内的节点数量越少。另外，不同的传输技术单节点时延也稍有差别。总之，网络层次越高、越少、结构简单、开口点需求越少、传输系统能力越强，单位距离内的节点数量越小，相应总的节点时延越小。

总之，影响传送网端到端的时延主要因素是光信号在光传输系统中的传输时延，即和传输距离相关，约占总传输时延的80%；且随着传输距离的增加，传输距离对总传输时延的影响占比越大。

2.2 路由时延

数据包在信息传送中，由业务承载网来选择传送路由；因此网络时延还受到路由影响，即每经过一个路由器，跳数就加1，业务时延对应也会增加。数据包在传送过程中，经过的路由越复杂（或跳数越多）则时延越长。数据包在业务承载网中传送而产生的时延即为路由时延。

路由时延是路由上每个单节点时延的总和。单节点时延包括打包时延、数据单元（PDU）传送时延、排队时延、处理时延。等待并将接收到的字节流打成数据包，将数据包比特全部传送到线路上，对数据包进行包头检查和分析以选择路径，上述每个动作都会带来相应时延。当链路上有多个数据包在等待输出时则产生排队时延，排队时延受当前网络负载影响，在μs级到ms级之间。

单节点时延与设备类型、设备缓存、数据包的长度、线路速率等相关，目前运营商的业务承载网通常采用IP技术组网，运营商IP承载网内跳转时延一般可以按1 ms/节点考虑。

下面以2类典型业务场景来进行分析研究。

2.2.1 跨运营商网络服务场景

考虑信息业务用户与提供应用业务的数据中心用户为不同电信运营商客户，需要跨运营商网络提供服务。假设信息业务用户在北京，为运营商A用户，将访问运营商B 的呼和浩特数据中心。按照运营商IP承载网内跳转时延约1 ms/节点考虑，业务场景的典型网络拓扑如图1 所示，时延分析如表1 所示，预计其网络时延约20 ms。

需要说明的是，传输距离通常不是两点的直线距离，与传输沿线通信管道敷设路径和路由选择有关。

图1 业务场景A典型网络拓扑图

表1 业务场景A时延分析

在工信部指导下，我国已建设了13个国家级互联网骨干直联点，包括北京、上海、广州、成都、郑州、武汉、西安、沈阳、南京、重庆、杭州、贵阳、福州，在这些节点城市，3 家运营商互联网能实现高速直联。非骨干直联点的周边城市将就近通过直联点互联。因此数据中心设置在非直联点城市时，其与用户端的数据包传输将会多出几个跳接环节；时延也将随传输路径长度、跳接节点次数的增加而增加。

2.2.2 同一运营商网络服务场景

若信息业务用户与提供应用业务的数据中心为同一运营商客户，则在运营商网内提供服务。假设信息业务用户在北京，为运营商A 用户，将访问运营商A的呼和浩特数据中心。按照运营商网内跳转时延约1 ms/节点，业务场景A 的典型网络拓扑如图2 所示，时延分析如表2 所示，预计其网络时延约14 ms。在上述网络架构图中，数据中心可能通过省网路由器上骨干网，这样整个路程将增加跳转次数，网络时延将增加约2 ms。

2.3 小结

从上述分析可知，传输路径、网络路由的选择对时延有较大影响。时延要求高的业务即低时延业务应选择最短传输路径、最优网络架构。目前电信运营商都在优化网络架构，网络的传输时延也越来越低。

图2 业务场景B典型网络拓扑图

表2 业务场景B时延分析

3 网络时延的优化举措

为更好满足低时延业务需求，优化数据业务外部网络时延，需从以下几个方面分别进行优化。

3.1 优化信息传输距离

首先应优化数据中心与信息业务用户之间的传输距离，传输距离越短，传送时延就越短。每减少1 km，传送往返时延将降低10 μs。距离长度，在传送网的时延中影响达到80%以上。

根据现有的光传送技术和网络情况，一般而言，如果时延需求在10 ms 以内时，数据处理中心与信息业务用户端的距离建议在200 km 以内；如果时延需求在30 ms 以内时，数据处理中心与信息业务用户端的距离建议在500 km以内。

3.2 优化网络架构

优化承载业务的IP 承载网络架构，减少网络层级，提高网络扁平化程度，以有效减少路由跳接次数，降低网络时延。目前部分数据中心是通过省网/城域网上联至骨干汇聚点，再进入骨干核心节点；这样的网络转发跳数较多；建议条件具备时，尤其是数据转发量大的大型数据中心，应直接接入骨干汇聚点或骨干核心节点。

各运营商持续优化传输网络架构，如一干二干融合、骨干节点增加等举措，将有效优化网络节点、缩短长途传输的距离。对于网间传输量较大的业务，推荐优先考虑在国家互联网骨干直联点设置数据中心。重要的数据中心之间、互为备份的数据中心之间，建议采用专用传输链路直联，避免IP 层面的跳转，将大大降低相互访问的时延。

3.3 采用低时延设备

对于承载低时延业务的传输设备或IP 网络设备，应优先选择低时延设备。

在相同光缆路由条件下，采用高速率传输系统，将有效降低电路时延。实践表明，采用相干光通信技术的100G WDM系统相对于10G/40G WDM系统，电路时延减少10%左右。未来传输网络将优化到400G 系统，时延将进一步降低。

IP网络设备方面，高端路由器的时延一般在200 μs以内，而低端路由器时延在ms级。目前交换机时延一般为几十μs，而低时延交换机已达到百ns级。现在服务器和计算机也推出了一些低时延的网卡产品，将时延降到了1 μs以下，依然还有提升空间。

4 结束语

为更好地满足低时延业务需求，应合理布局数据中心。业务时延要求越高（即低时延需求），数据中心应越靠近信息业务用户。对于5G 和物联网等低时延业务（如工业控制等时延需求低于5 ms），可将微数据中心就近部署在业务场景周边，以满足极低时延业务需求。另外，传输距离、网络架构、设备时延等也是影响时延的因素，应通过缩短数据包传输距离、优化网络架构、优选时延指标好的设备等措施，减少业务端到端时延。