孔令义，常艳生，阎艳芳，郝双洋，武俊芹，冯朝旭

（中国联通河南分公司，河南郑州 450008）

0 引言

5G核心网相比传统核心网呈现出了网络切片、服务化的网络架构、无状态设计、转控分离等一系列崭新的特性［1］，实现这些新特性需要以数据中心为基础设施实现云化架构的部署。转控分离使5G 核心网实现了用户面的去中心化，用户面可按业务量及需求部署在省、市或下沉至网络边缘并承载MEC 业务。而控制面可以更加集中，仅需部署在全国几个大区，每个大区承载若干省的控制面实现集约化部署，形成大区和本地2层架构，这样，可以大大提高数据中心的利用效率。

基于云化的集中式5G核心网发生了很大变化，在部署方式、业务继承、容灾方案等方面带来了新课题。

1 大区数据中心的部署

大区数据中心的云平台一般承载若干省的5G 核心网控制面，这使其对可靠性的要求高于传统电信级的99.999%，实现如此高的可靠性不仅需要符合电信业务特点的云原生的软件架构，同时，在资源池建设方面也需要进行特别规划。

1.1 DC网络结构

基于NFV/SDN 的DC 建设是5G 核心网演进的关键路径。NFV 是IT、CT 融合的关键技术，其实现主要有2 层解耦和3 层解耦2 种方案。2 层解耦是物理资源、NFVI+VNF 独立部署，3 层解耦是在2 层解耦的基础之上，进一步将NFVI 和VNF 解耦，独立部署物理资源、NFVI 和VNF，管理面则可分为VIM、VNFM、NFVO［2］。3层解耦的网络更加灵活，利于降低成本，是虚拟化网络演进的目标，但是跨厂家的交互较多，不利于故障定位，给网络维护带来挑战。而2 层解耦容易集成、部署快，但增加了运营商对设备厂家的依赖性。此外，由于SDN 控制器和VIM 之间的接口尚未标准化［3］，SDN 控制器和NFVO 往往需要采用同厂商的私有接口才能实现网络的自动化配置和资源的智能调度，这也不利于数据中心采用3层解耦方式部署。

本文主要研究实现云、网联动的2 层解耦数据中心，其网络结构如图1所示。NFVO作为数据中心的大脑进行统一编排，统一管理，协同SDN控制器和VNFM完成网络配置自动化以及VNF 实例自动化部署，实现资源的自动调度，以完成VM 的自动迁移、过载控制和弹性扩缩容等，保障业务连续性。

数据中心内部网络采用分布式3层网关模型（distributed virtual routing，DVR），主要由接入、核心、出口构成，控制面采用BGP EVPN 协议，数据转发面采用VxLAN 技术。TOR 作为VM 的默认网关分别对东西流量和南北流量进行疏通。对于南北向流量，接入YOR发送至数据中心出口路由器转发至外部网络，比如和用户面之间的信令流量转发至承载网。分布式部署的VNF 组件间所产生大量的东西向流量不必发送到出口路由器，东西流量具体疏通原则如下。

a）相同服务器内，VM 间L2 流量由EVS 本地转发。

b）相同服务器内，VM 间L3 流量由TOR 本地转发。

c）不同服务器间L2/L3 流量，Leaf 间建立VxLAN隧道转发［4］。

数据中心防火墙采用旁挂模式部署，根据不同业务流量的内容来决定是否过墙。总体来看，管理区的南北向流量、业务区VNF 的操作维护南北向流量均需要过墙，过墙流量使用共享出口。

1.2 物理资源规划

为实现各类业务的隔离，数据中心需划分为多个VDC（Virtual Data Center），主要有管理VDC、5GC 业务VDC、计费VDC 等。不同的VDC 使用不同的计算、存储、网络等资源，这样不同的VDC 可以由不同的运维团队进行维护，并可以划分不同的安全等级。

VPC（Virtual Private Cloud）可以实现网络的逻辑隔离，在VPC 中，具有完全独立的IP 地址空间设置，与其他不在该VPC 中的虚拟机完全网络隔离，因此，为减少不同网元间的路由配置，5GC共用一个VPC，不再细分，计费网关以及管理则使用不同的VPC。

HA（Host Aggregate）内的服务器建议采用同平台（如X86 或ARM）服务器，服务器数量建议不超过128台，计费网关和管理由于所需服务器较少，各使用1个HA 即可满足需求。5GC 则需要多个主机组，如UDM、PCF 所需资源较多，需要独立集群，2B、2C 分离使用的VNF也使用不同的HA。

2 业务部署方案

2.1 融合部署方案

5G 核心网的业务部署首先需考虑和4G 网络的融合及互操作，以支持网络的平滑演进。4G 和5G 的互操作通过AMF 和MME 之间的N26 接口实现，SMF 和PGW-C 融合部署在大区中心，UPF 和PGW-U 融合部署在各省或市，以支持5G用户在4G区域的接入，实现移动锚点不变保证业务连续性［5］。

MME 和AMF 可根据需求决定是否融合部署。AMF 和MME 融合部署可减少AMF 和MME 之间信令交互，优化4G/5G 互操作，提升5G 用户体验，提高运维效率。但同时，由于5G 网络建设初期，AMF 可能会频繁升级，而5G 用户较少，4G 用户较多，需要考虑AMF升级对4G网络的影响。

因此，在5G 核心网部署初期，AMF 可考虑独立部署，4G 用户依然由各省EPC 承载。当5G 用户接入gNB 时，5G 用户由AMF 选择融合网关，当5G 用户在4G/5G 网络间切换时，则通过N26 接口实现连接态4G/5G 网络间切换和空闲态的重选，当然这需要MME 升级支持N26接口以及融合网关选择功能。

在第2 阶段，可逐步将AMF 升级为AMF/MME 融合产品，4G 用户接入MME，也可以分担至大区融合AMF/MME。此时需要合理规划融合节点的MME/AMF标识，5G用户在4G/5G网络间切换时，最多经过1次4G/5G互操作即可锚定融合MME/AMF节点。

最终，4G 用户也迁移至大区融合AMF/MME 承载，4G/5G 用户均锚定在融合AMF/MME，无需互操作，此时传统平台设备可退网，实现统一核心网。

此外，为满足5G 用户不换卡、不换号的需求以及网络的平滑演进，需考虑融合用户数据管理以及策略数据管理。

2.2 用户数据融合方案

用户数据的融合需要部署云化融合UDM/HSS，保证用户数据一致性，同时实现5G 用户数据的整体迁移，使得用户可感知2G/3G/4G/5G 网络状态，支持接入2G/3G/4G/5G 网络，共用鉴权数据，共享公共业务数据。用户数据的迁移主要有以下2个方案。

a）一次性割接至融合设备：在大区中心部署全容量的云化融合HSS/UDM，将各省HSS 用户分批次全部割接至大区融合HSS/UDM，信令及营账均切换至云化设备，传统HSS 退网。很明显，该方案一步到位，架构清晰，但投资较大，初期即需要全网容量投资，该方案的迁移速度受导出、导入数据能力限制，割接战线较长。

b）同厂家FE relay 方案：新建的云化UDR 支持2G/3G/4G/5G，原BE 存储2G/3G/4G 签约信息，融合UDM/HSS 存储新号段用户和已迁移老用户，现网HSS升级支持FE relay功能。网络结构如图2 所示。

图2 用户数据融合方案示意图

在方案b）中，5G 新开用户仅需在UDM 开户和业务签约，不需发给传统HSS 处理，存量4G 用户升5G时，BOSS发送用户开通5G的指令给受理网关，受理网关从现网HSS 中查询用户数据，并重新在融合HSS/UDM 放号，完成后再删除现网HSS 的数据。后续5G用户的相关签约信息修改均由集团BOSS 统一负责。现网4G 用户的受理仍然由省BOSS 负责，受理指令维持现有流程不变。

同时方案b）可保持信令路由不变，HLR/HSS 转送5G 用户数据到HSS/UDM。对于2G/3G 业务来说，STP将消息发送至传统HSS，传统HSS 查询用户不存在则将消息发送至UDM，UDM 处理完后直接将相应消息通过STP 返回给对端。对于4G 业务来说，则由DRA将消息发送至传统HSS，传统HSS 再发送至UDM，UDM处理后将消息返回给HSS，由HSS发送至对端。

总体来看该方案对传统网络依赖较小，易于平滑演进，但对集团BOSS 要求较高，需保证用户数据的精准。

2.3 策略数据融合方案

策略数据融合需要在大区中心部署云化的PCF并融合PCRF 功能，保证用户策略的一致性和连续性。传统PCRF 和融合PCF 混合组网实现起来对现网影响较小，对外可屏蔽业务差异，是实现用户策略数据平滑迁移的较好方案。后续根据业务发展及技术成熟度逐步将用户迁移至云化PCF，最终实现传统PCRF退网。

混合组网方案往往要求传统PCRF 和融合PCF/PCRF 同厂家，从而使传统SPR 和云化UDR/SPR 可以互访用户数据。传统PCRF 和现网信令连接不变，DRA需和融合PCF对接Rx和Gx接口实现会话绑定。

集团BOSS 系统需统一接入云化UDR/SPR 设备。当现网用户由4G 升级为5G 时，集团BOSS 发送开通5G 策略的指令给受理网关，受理网关将数据从存量SPR 迁移到UDR 中，并新增5G 签约，UDR 完成处理后返回结果给BOSS。后续5G 用户的相关策略信息修改均由集团BOSS统一负责。现网4G用户的策略数据受理仍然由省BOSS负责，受理指令维持现有指令不变。

2.4 NSSF/BSF/NRF等

NSSF/BSF/NRF 等其他网元主要是在5G核心网新增的网元，均需新建，不需要考虑和4G 核心网融合的问题。每个大区均需新建1 对NSSF/NRF/BSF，NSSF实现本大区的切片选择功能，BSF 需要和DRA 及PCF连接实现会话绑定功能，NRF 统一管理网络中NF 配置，支持服务发现功能，各大区NRF 需要实现全连接。NRF 实现全连接主要有2 个方案：一是大区间NRF 全互联，可靠性较高但运维复杂；二是集团新建1 对NRF，各大区NRF 通过集团NRF 转接实现准直连，数据配置量较少。NEF、NWDAF等其他一系列网元不是当前必须网元。根据标准进展及业务需求逐步部署，这里不再赘述。

3 大区化部署的信令风暴预防

大区化后5G核心网更容易出现信令风暴问题，有研究表明，在大区故障、承载故障等导致的容灾倒换时，MME、HSS（DRA）分别产生大于6倍、48倍过载，引起信令风暴，若处理不当，会对网络形成冲击，业务恢复缓慢。因此，做好信令风暴的预防工作是非常重要的。

在网络异常时，用户会反复尝试接入网络，从而形成用户的集中上线，这是信令风暴的诱因，一旦发生信令风暴会快速蔓延扩大。从根本上说，用户永远在线，尽量不引起用户的集中上下线是避免信令风暴的最好办法。实现用户的永远在线，需要设计和规划网络的多个层面。首先要具备完善的网元以及DC 的容灾和备份，如组pool 容灾（AMF、SMF 等）、主备容灾（NSSF、NRF、PCF、UDM 等）。其次，5G 核心网的无状态设计、存储和计算相分离、虚拟机的反亲和部署等也使得网元内多点故障时用户不下线。最后，在网络故障、存储故障时需保证业务不中断，这可通过业务功能模块和管理控制模块解耦、服务器内存对存储实时镜像等方法来实现。

此外，做好早期的拥塞控制可以有效预防信令风暴。对业务负载实时检测，当网络负荷达到一定门限时，启动拥塞控制，在信令处理入口处进行流控，基于优先级对业务进行智能丢弃，高优先级及在网用户业务优先通过，无效业务消息及早丢弃，避免无效处理。并且基于实时处理能力进行精准流量控制，提升业务处理效率，在保障用户体验的同时降低网络负荷，直到网络负荷达到正常水平。

最后，快速恢复业务不仅需要快速的弹性扩容以灵活应对业务变化，还需要业务在新虚拟机和已有虚拟机之间实现秒级的负载均衡，缓解过载。

4 结束语

基于大区数据中心集约化部署的5G核心网，提供了强大的网络能力，便于业务集中开通、集中管理，有利于降本增效，同时也改变了网络运维体系和方式。运维人员需要由CT向IT转型，成为IT、IP、核心网多领域跨专业的复合型人才方能更好处理网络中的各类问题。其次5G 核心网节点多、告警关联复杂，对业务变更需要更高效响应，这需要网络部署时同步考虑自动化智能运维的问题，实现网络的自动化配置、自动化监控、自动化巡检以及业务的自动开通。总体上来看，5G 所展现的全新特性将使网络更加智能，更加高效。