NFV硬件资源池规划建设重点

2018-07-03沈蕾王芳吴丽华

电信科学 2018年6期

沈蕾，王芳，吴丽华

NFV硬件资源池规划建设重点

沈蕾，王芳，吴丽华

（中国移动通信集团设计院有限公司，北京 100080）

目前各大运营商均陆续商用部署NFV，NFV软硬件解耦后，硬件、软件需要分别规划建设。硬件资源池及机房基础设施是部署虚拟层及虚拟化网元的前提和基础，基于NFV部署初期建设需求，分析了硬件资源池及机房基础设施规划建设应重点考虑的因素，阐述了计算、存储、网络设备配置要求，对比了刀片与机架服务器、磁阵与分布式存储、增强二层与SDN组网等硬件及网络配置，研究了硬件配置模式及重点考虑因素，分析了不同场景下的硬件冗余要求，得出了NFV硬件资源池规划建设重点需求。

硬件资源池；计算；存储；网络；数据中心

1 引言

网络功能虚拟化（network function virtualization，NFV）是将传统电信设备功能通过软件实现，运行于通用硬件设备之上，并采用虚拟化技术实现业务敏捷迭代、网络演进支撑、整体成本降低的目标，是应对移动互联网时代业务快速变化的有效手段，是向5G演进的基础性技术和重要网络基础。

NFV软硬件解耦背景下，硬件采用IT通用硬件，并且与软件分别规划建设。硬件及机房基础设施是部署虚拟层及虚拟化网元的前提和基础，本文将基于NFV部署初期建设需求，分析硬件及机房基础设施规划建设应重点考虑的因素。

2 硬件资源池配置重点考虑因素

NFV建设初期实现软硬件解耦下，硬件资源池主要包括计算、存储、网络资源，可提供的主要硬件资源如下。

• 计算类：虚拟化服务器。

• 存储类：磁盘阵列、分布式存储。

• 网络类：TOR（top of rack，架顶交换机）、EOR（end of row）。

后续随着VNF类型的增加，硬件资源池还将提供存储类服务器、转发类服务器、数据库服务器、安全设备等硬件资源。未来三层解耦后，资源池还应统筹考虑虚拟层、部分中间件、数据库、操作系统等资源需求。

2.1 计算资源配置重点考虑因素

服务器配置一般需要考虑以下因素：服务器选型、网元侧服务器需求和资源冗余因素。

2.1.1 服务器选型

服务器选型需考虑服务器形态和服务器规格，具体如下。

（1）服务器形态

通用x86 COTS服务器主流形态有刀片式、机架式和多节点服务器等。从规划、运营维护（以下简称运维）角度，服务器形态应尽量少，以减小规划运维复杂度。服务器选型应首先明确服务器形态。

现阶段多节点服务器尚未得到充分的验证。NFV建设初期，综合考虑标准化程度、资源共享粒度等因素，建议优选机架式服务器。刀片、机架服务器主要对比见表1。

表1 刀片、机架服务器主要对比

（2）服务器规格

服务器规格需要考虑的因素较多，主要应考虑CPU性能及核数、内存容量、硬盘容量、网卡配置、扩展能力等性能及功能因素。

• 在控制面网元及业务平台虚拟化场景下，对内存及计算性能需求较高，对网卡隔离要求较高，并需支持VT-x、超线程等功能。

• 面向大容量存储的网元，对服务器的硬盘配置要求较高。

• 面向转发面网元，对服务器网卡处理能力有较高需求，可能需要配置25 Gbit/s或40 Gbit/s网卡，并需支持网卡直通SR-IOV等功能。

2.1.2 网元侧计算资源需求

软件、硬件解耦后，硬件资源池与VNF项目独立建设，网元侧与硬件资源池侧应有效衔接、合理分工、避免重复冗余。网元侧提交计算资源需求时，应基于硬件资源池可提供的资源类型提供资源需求，并重点考虑以下因素。

• 网元自身利用率要求，可延续现网物理网元利用率要求。

• 网元内部容灾备份要求，如所有业务模块均应采用+或+方式部署。

• 跨安全域部署要求，当单个网元部署在多个安全域时，如有CMNet连接需求的业务平台，应区分安全域并分别提交各域资源需求。

• 跨AZ（availability zone，可用区）部署要求，当单个网元跨AZ部署时，如MANO等管理类网元，应区分AZ并分别提交各AZ资源需求。

• 在二层解耦场景（虚拟层与VNF未解耦）下，硬件资源池侧还需考虑虚拟层资源消耗需求，一般单服务器需要为Hypervisor+ OVS预留4核左右的资源。

• 硬件资源池侧还需结合网元之间备份要求，将有容灾备份关系的网元部署在不同的硬件资源池。

2.1.3 资源冗余因素

服务器资源冗余需要综合考虑以下因素。

（1）服务器故障因素

为保障业务可用性，服务器出现故障后，资源池内应有足够的冗余资源保障虚拟机由故障主机迁移至可用主机。

（2）资源碎片因素

资源池一定程度上实现了资源共享，但多个因素均可造成资源碎片，一般服务器数量越多、资源可共享的范围越大，资源碎片越小；服务器分组越多、资源共享范围越小，资源碎片越大。

资源碎片需主要考虑以下因素。

• 多VIM划分因素：单个硬件资源池如部署多个厂商的VIM，多个厂商服务器资源独立、无法共享。

• 多HA（host aggregate，主机组）划分因素：HA划分可包含多个维度，如按安全域、硬件规格、虚拟层参数、其他运维策略等，各HA资源独立、无法共享。

• VM反亲和部署因素：有容灾备份关系的VM要求反亲和性，具有反亲和性要求的VM应部署在不同的服务器或不同的AZ，无法共享。

• 部分VM规格较大：当部分VM规格较大，超出物理机剩余可用核数时，则不能部署在剩余核数较少的物理机。

资源碎片同时也和VIM资源部署算法以及可靠性有一定关系。一般来说，VM资源部署越分散，可靠性越高，单个服务器故障不影响网元整体性能；VM资源分布越集中，则单个服务器出现故障，将造成一定性能损失。

（3）弹性伸缩预留

弹性伸缩（auto scaling）是虚拟化的优势之一，可根据业务需求和弹性策略，自动调整弹性计算资源。

（4）升级等迁移预留

当硬件非热插拔更换部件、VNF软件、虚拟层软件非在线升级时，都可能涉及虚拟资源需要从一部分物理机迁移至另一部分物理机，需要考虑该部分预留。

缺陷分析时需要计算一些分析指标，使分析结果得到定量描述，以便进行直观地对比。度量分析指标能够为定量分析缺陷提供基础。对软件产品发布后缺陷分析而言，分析指标主要包括：

综合考虑硬件故障、资源碎片、弹性扩容、迁移等预留需求及投资效益，服务器冗余系数建议取值在30%~40%，推荐值见表2。

2.2 存储资源配置重点考虑因素

存储配置一般需要考虑以下因素：存储技术选型、网元侧资源存储需求和资源冗余因素。

表2 服务器冗余系数推荐值

2.2.1 存储技术选型

（1）磁盘阵列与分布式存储对比

磁盘阵列（redundant arrays of independent disk，RAID），把多块独立的硬盘（物理硬盘）按不同的方式组合起来形成一个硬盘组（逻辑硬盘），从而提供比单个硬盘更高的存储性能和数据备份。

不同的磁阵组成和读写方式构成了不同的RAID级别。磁盘阵列可提供的RADI级别包括RAID0、RAID1、RAID3、RAID5和RADI10等，具体见表3。

表3 主要RAID方式对比

分布式存储通过分布式存储软件实现将数据存储在不同的服务器硬盘上，将分散在不同服务器的存储资源构成一个虚拟的存储设备。与集中的磁盘阵列不同，分布式存储通过在服务器上加载分布式存储软件，数据通过分布式存储算法计算出对应的主、副本硬盘，副本数据通过主硬盘相关进程将数据复制到副本硬盘中，如图1所示。

图1 分布式存储原理示意

分布式存储的核心是分布式存储软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。与传统的磁盘阵列存储方式相比，分布式存储不仅是一个硬件，还是一个由网络设备、存储设备、服务器、分布式存储软件、公用访问接口、接入网和客户端程序等多个部分组成的存储系统。各部分以存储设备为核心，通过分布式存储软件来对外提供数据存储和业务访问服务。

表4 磁阵与存储服务器对比

从功能、性能、可靠性、管理和可扩展性等方面看，磁盘阵列和分布式存储均可以满足NFV硬件资源池需求，见表4。

分布式存储适用于大容量、高IOPS（input/ output operations per second，每秒进行读写次数）需求场景，NFV资源池的存储数据主要为读写要求不高、安全性要求高、数据存储量需求不高的数据（包括用户数据、话单数据、报表数据等）。对于基于存储型服务器架构的分布式架构，与传统磁盘阵列存储方式相比，在存储容量较小场景下，其优势并不能得到充分发挥。

未来，随着数据存储量的不断增长以及资源池规模的不断扩大，分布式存储优势可充分显现，可考虑引入计算、存储融合架构的分布式存储，进一步发挥其简单、快速部署的优势，解决传统集中式存储方式的单点故障问题。

（2）磁盘阵列规格

磁盘阵列规格要考虑的因素较多，在性能方面应主要考虑以下因素。

• 控制器数量及IOPS、缓存大小等。

• 硬盘容量（如900 GB、1 200 GB等）、硬盘转速（如高速、低速或固态硬盘）。

• 前端接口、后端接口数量、类型、速率等因素。

在控制面网元及业务平台虚拟化场景下，存储容量及IOPS等性能需求一般不高，部分管理类网元有高IOPS需求，一般中端磁盘阵列即可满足业务需求。

在功能方面，需结合业务、组网需求，按需选择是否支持负载均衡、自动精简配置、分层存储、快照、克隆、镜像、同步、异步远程复制、存储虚拟化、存储在线迁移、支持多租户等功能。

2.2.2 网元侧资源存储需求

网元侧提交存储资源需求时，应基于硬件资源池可提供的资源类型提供资源需求，并重点考虑以下因素。

• 网元有效存储容量需求，应结合网元利用率考虑有效容量需求。

• 结合硬件资源池可提供的资源类型，在磁盘阵列场景下，网元侧应提交RAID方式需求；在分布式存储场景下，网元侧应提交副本数量需求。

• IOPS及读写比例需求。

• 存储介质要求，如使用服务器本地硬盘或外接磁盘阵列、分布式存储等。

• 跨AZ部署要求，当单个网元跨AZ部署时，如MANO等管理类网元，应区分AZ并分别提交各AZ存储资源需求。

2.2.3 资源冗余因素

存储资源配置，主要应考虑以下冗余因素。

（1）对于集中块存储，需要考虑RADI利用率，常用RAID利用率如下。

• RAID10的存储空间利用率为/2，取50%。

• RAID5的存储空间利用率为（−1）/，一般取75%。

• RAID6的存储空间利用率为(−2)/，一般取60%。

对于分布式存储，则需要结合副本数量（一般2~4个不等），考虑存储容量需求。

（2）对于存储容量配置，还需考虑存储厂商与网元侧存储容量换算单位差异，以1 TB机械硬盘来计算，1 TB实际容量为1×1 000×1 000× 1 000×1 000/1 024/1 024/1 024=931 GB空间，单位差异系数约为8%。

（3）对于磁盘阵列，还需考虑热备盘需求及磁盘阵列自身元数据等开销，可取10%~15%的冗余。

2.3 网络资源配置重点考虑因素

网络设备配置一般需要考虑以下因素：组网架构及组网技术、网元侧网络资源需求和资源冗余因素。

2.3.1 组网技术

NFV资源池规划建设首先应明确组网技术选择，不同的组网技术对组网架构、设备选型均有不同要求。

面向未来网络演进，应采用SDN组网实现网络自动化配置、增强网络服务化能力及横向扩展能力。但目前NFV场景下，SDN控制器北向与VIM接口以及南向与转发设备之间的接口尚未标准化。如由VIM厂商统一提供SDN软硬件设备，则造成了软硬件的耦合，不满足NFV现阶段软硬件解耦要求。

现阶段NFV仍可考虑采用方案较为成熟的增强二层组网技术，目前该技术较为成熟，厂商支持情况较好，支持异厂商组网。能有效规避二层环路，无需启用STP，当网络中出现设备或链路级故障，可以快速收敛故障点实现电信级可靠性保护。后续应推动SDN接口标准化，并向SDN组网演进。

网络设备选型方面，需结合交换机性能、功能，在性能方面，主要考虑线速转发端口数需求。规格建议见表5。

表5 网络设备规格建议

2.3.2 网元侧网络资源需求

网元侧提交网络资源需求时，应重点考虑以下与硬件资源池协同因素。

（1）网元侧提供计算、存储资源需求，硬件资源池侧基于多网络、多网元需求，统筹考虑资源池网络设备端口及规格需求。

（2）网元侧提供南北流量需求，南北流量既网元对外接口流量，虚拟化网元的对外接口流量及承载原则，与原有物理网元保持一致；新增网元如MANO，应提交南北流量及承载要求。

（3）网元侧提供东西流量需求，东西流量既网元内部多个VM之间的流量，资源池侧应结合网元东西、南北流量及组网架构，统筹考虑网络设备上行、下行链路收敛比需求。

2.3.3 资源冗余因素

网络设备冗余配置主要考虑以下因素。

• 考虑高可靠性，网络设备应成对配置。

• 硬件分区要求，结合服务器、磁阵硬件分区要求分别部署TOR、成对EOR分别部署在两个分区。

• 各类端口可建议考虑20%的冗余。

• 对于框式网络设备，其业务板卡应成对配置，至同一台/对设备的多条链路应分配到不同板卡的端口上，提高网络可靠性。

3 机房及基础设施配套重点考虑因素

3.1 机房布局

未来网络布局将由现有“以网元为中心”向“以数据中心为中心”转型，机房整体布局应面向未来、长远规划，按照满足5~10年业务发展需求，提前规划建设数据中心机房基础设施。

初期应主要满足控制面网元集中建设需求，结合运营商组网策略，可选择全国集中、大区集中、省集中等方式。为满足网元地理容灾要求，全国/每大区/每省应选择两个或以上互为地理容灾的局址部署硬件资源池，互为地理容灾的局址应具备不同方向的市电和传送。后续应考虑转发面等网元对地市及以下层面机房的需求。

NFV机房面积及机架数除考虑NFV资源池需求外，应统筹考虑周边安全管控、信令监测等系统对机房的需求。NFV机房还应具备虚拟化网元相关的承载、传输等网络资源。

3.2 机房环境及工艺

机房环境和工艺应满足IT硬件装机需求，主要考虑以下因素。

（1）散热要求

传统专用硬件长期工作温度一般在+5℃~ +40℃，IT硬件长期工作温度范围一般在+10℃~+35℃，进风口温度一般要求在25±2℃（23℃~27℃）；对于高保障、高密度的IT设备，进风口温度可适当调低。

（2）送风方式

传统专用硬件一般采用前进后出送风方式，IT硬件长期以前进后出送风为主，部分网络设备有前进侧出、左右送风等多种送风方式，需要考虑送风方式和散热方式的匹配。

（3）承重

应综合考虑机架重量、设备重量，并结合单位机架占地面积，换算为机房承重要求。磁盘阵列等较重的设备应安装在承重较好的柱子列。

（4）走线槽道

部分NFV服务器网卡数量较多，造成服务器线缆较多。以单机架安装约14台服务器、2台业务/存储/管理TOR、1台硬件管理TOR估算，单个机架约需布放236条尾纤+26条网线，需要综合考虑尾纤槽道及尾纤下线槽的规格及数量。

• 单个机架内，服务器共需出线14×12（6个10GE口）条单芯尾纤+14×1（硬件管理GE口）条网线，其中约14×4+14×1可终结在机柜内部，仍有14×8=112条尾纤需要连接至其他机架TOR。

• 其他机架约有26台设备，需连接至本机架TOR，共需约26×4+26×1=104条尾纤+26条网线。

• TOR互联及上联约需20条单芯尾纤。

• 本机架出入线口共需布放约236条单芯尾纤+26条网线。

数据中心装机条件能较好满足IT硬件装机需求，应优选省级/省内数据中心机房，对于无数据中心机房或数据中心机房暂不具备装机条件的省份，应选择传统通信机房进行DC化改造。

3.3 设备供电

IT硬件供电方式应与机房供电方式相匹配。为满足IT设备较高密度部署需求、降低机房使用成本，建议优选单机架功耗5 kW及以上机架，不建议选择单机架功耗3 kW以下机架。

3.4 机架配置

新增机架应采用19英寸标准机架（600 mm宽），机架深度需满足IT设备安装需求，建议不小于1 000 mm深（不含水冷前门及热板背板深度），并结合机房具体条件，合理规划机架尺寸。

为缩短线缆走线长度、尽量减少出机架线缆数量，服务器应与TOR共机架部署，邻近的服务器机架应共用业务、存储、管理、硬件管理接入TOR，成对配置的TOR应部署在不同的机架。不建议服务器与磁盘阵列、核心层及以上网络设备共用机架。

磁盘阵列、核心层及以上网络设备，应结合设备满配功耗和单机架功耗实际情况，选择是否共用机架。当单机架功耗大于磁盘阵列、核心层及以上网络设备满配功耗时，可共用机架。

4 结束语

NFV硬件资源池及机房基础设施是虚拟层及虚拟化网元部署的前提和基础，本文基于NFV部署初期建设需求，综合考虑电信网元业务需求、解耦模式、容灾要求等特点，从计算、存储、网络、机房资源等多层面，深入分析规划建设重点考虑因素，为后续中国移动NFV商用部署提出了方案及建议。

[1] 孙振正, 龚靖, 段勇, 等. 面向下一代数据中心的软件定义存储技术研究[J]. 电信科学, 2014, 30(1): 39-43.

SUN Z Z, GONG J, DUAN Y, et al. Research on software defined storage technology for the next-generation data center [J]. Telecommunications Science, 2014, 30(1): 39-43.

[2] 顾戎, 王瑞雪, 李晨, 等. 云数据中心SDN/NFV组网方案、测试及问题分析[J]. 电信科学, 2016, 32(1): 126-130.

GU R, WANG R X, LI C, et al. Analysis on network scheme and resolution test of SDN/NFV technology co-deployed in cloud datacenter [J]. Telecommunications Science, 2016, 32(1): 126-130.

[3] 李晨, 段晓东, 陈炜, 等. SDN和NFV的思考与实践[J]. 电信科学, 2014, 30(8): 23-27.

LI C, DUAN X D, CHEN W, et al. Thoughts and practices about SDN and NFV [J]. Telecommunications Science, 2014, 30(8): 23-27.

[4] ETSI. Network functions virtualisation whitepaper#3[S]. 2015.

[5] ETSI. Network functions virtualisation (NFV); usecases: GS NFV 001 [S]. 2015.

[6] ETSI. Network Functions Virtualisation (NFV); architectural framework: GS NFV 002[S]. 2015.

Key point of NFV hardware resource pool planning and construction

SHEN Lei, WANG Fang, WU Lihua

China Mobile Group Design Institute Co., Ltd., Beijing 100080, China

Major operators have been deploying NFV in succession, after hardware and software decoupling of NFV, hardware and software need to be separately planned and constructed. Based on the initial construction requirements of NFV deployment, the key factors were analyzed which should be considered in the planning and construction of the hardware resource pool and the machine room infrastructure. The calculation, storage, network equipment matching requirements were expounded. And the blade and rack service was compared.The hardware and network configuration of two layers and SDN networks were enhanced by the hardware, magnetic array and distributed storage. The hardware configuration mode and key considerations were studied.The hardware redundancy requirements under dif scenes were analyzed, and the key requirements of the NFV hardware pool planning and construction were obtained.

hardware resource pool, computing, storage, network, data center

TP393

10.11959/j.issn.1000−0801.2018201

沈蕾（1980−），女，中国移动通信集团设计院有限公司高级工程师，主要研究方向为NFV、网络能力开放、数字化业务和未来网络规划。