索士强　王映民

【摘  要】将机器学习技术应用到未来6G网络使其具备内生智能，是未来移动通信系统发展的重要趋势之一。对将机器学习技术引入到6G网络的必要性、可行性进行分析，并给出了一种网络内生智能的方式。同时对网络内生智能所引发的机器学习建模问题、模型部署/更新问题、如何应用强化学习的问题、以及标准化问题进行了探讨。这些问题需要在无线网络内生智能化进程中被关注和进一步研究。

【关键词】人工智能;机器学习;6G;神经网络

0   引言

作为人工智能的关键方法之一，机器学习技术在上个世纪50年代被提出，到目前为止经历了早期发展阶段和以数据挖掘为代表的中期发展阶段，目前处于以深度机器学习为代表的第三个发展阶段。机器学习技术影响的行业范围广，涉及金融、家居、教育、交通、医疗、物流、安防、客服、制造等行业，特别是在语音识别、图像识别等领域取得突破。机器学习技术平台开源化，使得开发者可以直接使用已经研发成功的深度学习工具，也加速了机器学习技术的发展与应用。

近年来，如何将机器学习技术应用到无线移动通信系统在学术界、产业界被广泛研究与探讨。3GPP SA2于2017年启动了面向5G网络的自动化使能技术研究工作，其对核心网中的NWDAF（Network Data Analytics Function，网络数据分析功能）进行了增强[1-2];3GPP SA5于2019年启动了面向MDAS（Management Data Analytics Service，管理数据分析服务）增强的研究工作[3]。对网络数据分析功能和管理数据分析服务的增强，使其可应用人工智能和机器学习技术进行数据分析，可形成影响核心网和接入网的智能化决策。在接入网部分，3GPP RAN3于2018年启动了以RAN为中心的面向NR的数据收集与应用研究工作，为在接入网中应用人工智能和机器学习技术提供数据层面的支撑[4]。基本上与3GPP同期，ITU-T SG13于2017年成立面向5G的机器学习焦点小组FG-ML5G，给出了一种在5G以及未来网络中应用机器学习的统一逻辑架构，其需要对现有域之间的接口（比如核心网和接入网之间的接口）进行增强，以便于机器学习使用[5]。CCSA的TC1WG1、TC5WG6以及TC5WG10均开展了面向人工智能的研究工作，涉及移动通信网络智能化能力分级研究、人工智能和大数据在无线通信中的应用研究等诸多课题[6-7]。2018年成立的O-RAN联盟将RAN智能化作为其主要的研究目标之一，其通过在RAN侧引入RAN智能控制器（RIC， RAN Intelligent Controller）来增强RAN的智能化[8]。上述这些组织所讨论的机器学习在无线移动通信系统中的应用，主要面向解决无线移动通信网络中的业务及应用的部署、运行、拓展、安全等问题，解决网络及平台的规划、优化、维护、节能等问题，以及解决无线资源管理层面的问题，较少涉及解决信号处理层面的问题。在无线移动通信系统中如何利用机器学习技术解决信号处理层面的问题，目前在学术界被广泛关注，并有进一步被应用到实际系统中的趋势[9-12]。

当前无线网络智能化主要考虑的是对包括5G在内的现存网络的智能化，滞后于对应无线移动系统的标准化阶段，所以主要采用的是扩展其对外的数据接口，以便被机器学习所使用的方式。这种方式由于其可扩展的数据接口有限、数据传输时延大，限制了机器学习的应用场景，同时还可能引发数据安全问题。因此，在面向6G的无线移动通信网络研究的初期，将机器学习技术与未来6G网络深度融合，形成内生智能的新一代移动通信系统的期望很高。本文也将对无线移动通信网络内生智能的相关问题进行探讨与分析。

1    无线网络智能化的必要性与可行性

在无线移动通信技术发展的历史中，为了解決其所面临的问题和挑战，已经积累了大量的经典的模型和解决方法，这些经典的模型的构成是清晰可见、可解释的。这种解决问题的方法被称为模型驱动的方法。随着无线移动通信系统的发展，其网络变得越来越复杂：比如存在3G、4G、5G等多网共存的情况，存在eMBB、URLLC、eMTC等多种差异性业务共存的情况，存在基站-终端、基站-中继-终端、终端-终端等多种无线连接共存的情况，这导致无论在业务层面、无线资源管理层面，还是信号处理层面，都面临着越来越大的挑战。引入机器学习的初衷，就是借鉴深度学习可以解决大型、复杂的非线性系统问题的能力，来应对未来这些挑战。

简单地说，机器学习主要用来解决模型驱动的方法中模型无法获得或者不精确的问题。与模型驱动的方法相对应，应用机器学习来解决问题的方法，通常称为数据驱动的方法。

在传统的模型驱动方法中，模型的建立主要经历了三个阶段：理论推导、仿真验证以及实际应用。采用数据驱动的方法时，模型的建立也经历了类似的三个阶段：模型训练、仿真验证以及实际应用。可以看出两种方法的主要差别在于第一个阶段。假设为了解决同一个问题，其所采用的仿真验证方法及其假设都是一致，如果数据驱动方法所获得效果与模型驱动方法所获得的效果相当或更好，那么应该可以说明数据驱动方法所获得的模型及其对应的方法是有效的。在文献[9-10]中指出，即使通过仿真数据来进行DNN模型的训练，其在实际应用时所获得的信号检测性能下降都不明显。而数据驱动方法所获得的模型，受益于深度神经网络所包含的海量参数，相对于人工理论推导所获得的模型，有更为精确的可能，从而最终提高其效果，这也是引入机器学习的必要性之一。

机器学习模型的训练包括离线训练和在线训练两种模式。离线训练阶段的数据可以通过实际系统采集获得，也可以通过仿真建模获得。而对于待研究的新系统（比如6G）来说，因无实际可提供数据采集的新系统，利用仿真平台提供的数据进行训练更为可行。

在线训练包括两种情况：直接利用系统实时获得的数据进行训练;或者在离线训练所获得的模型基础上，利用系统运行中所获得的新数据对模型的参数进行调整。在线训练会额外增加系统的计算复杂度，但可以通过控制其训练周期来平衡性能与复杂度之间的关系。特别地，基于导频设计的无线通信系统天然具备可以应用强化学习的基础，其在发射端、接收端已知的导频信号，可以看作系统实时提供的训练数据，可以用于对现有机器学习模型进行在线训练。

在应用阶段，由于深度学习可以采用通用的深度神经网络，在其具体应用时可以获得较低的计算复杂度，这是因为通用的神经网络仅仅涉及一些简单的矩阵乘法操作。进一步，借助GPU或更专用的机器学习芯片可以获得更高效率或更低的成本。

因此，从可行性角度来看，引入机器学习在其工作原理上、训练数据可获得上、以及计算复杂度方面均具有可行性。从必要性来看，其可以解决复杂问题、提高性能和降低成本。

2   未来无线网络需要内生智能

当前，将机器学习应用到无线移动通信网络中主要采用：固化推演方式和系统外推演方式。固化推演方式即通过离线训练获得推演阶段所使用的机器学习模型后，将其固化到系统中，系统在运行时，应用固化在系统中的机器学习模型进行推演，获得相应的功能。系统外推演方式即机器学习的训练和推演均在无线移动通信系统之外进行，机器学习推演机构利用系统提供的数据进行推演，并将推演的结果应用到目標系统之中，如图1所示。目前在业务层面、网络与平台管理、无线资源管理等层面的机器学习研究主要考虑是这种方式，其对当前标准架构影响较小，仅涉及测量、统计量层面的丰富化。

采用系统外推演的方式，需要无线移动通信系统向机器学习训练机构提供大量用于训练和推演的数据，随着所需要解决的问题复杂化，特别是将机器学习用于无线信号处理时，大量的训练和推演数据向系统外提供将成为一种负担。同时，系统内外的数据交互会增加处理问题的时延，限制了机器学习技术的应用场景。将无线移动通信系统内部的数据提供给系统外的机器学习机构使用，还可能引发数据安全的问题。因此，有必要将机器学习的训练和推演引入到无线网络内部，构造具备内生智能的新一代无线移动通信系统。

具体地，本文给出一种系统内与系统外推演相结合的方式，如图2所示。其中，离线训练以及所需数据量较少的在线训练和推演在系统外进行，所需要数据量较大的在线训练和推演在系统内进行。特别地，系统内的机器学习推演模型可以由系统外的机器学习训练机构提供，也可以由系统内的机器学习在线训练机构提供。

这种网络内生智的推演的方式，可以更有利于采用机器学习技术解决无线移动通信系统自身的问题，比如应用深度神经网络模型提升信道估计和信号检测的性能、应用深度强化学习提升链路自适应的准确性等。目前，正处于6G无线移动网络研究的起始阶段，也正是研究网络内生智能的关键阶段，因此有必要对网络内生智能所引发的相关问题进行讨论，并作为无线网络智能化进程中的关键问题持续展开研究。

3   网络内生智能所引发的关键问题

3.1  机器学习模型建模问题

机器学习的发展主要体现在语音识别、图像识别等领域，在其中沉淀了大量经典的模型与算法。将机器学习引入到无线移动通信系统中，用来解决无线移动通信系统的问题，在最近几年才凸显出来。这其中包括两类机器学习模型建设方法：黑盒方法和展开方法。黑盒方法可以理解为将现存的、其他非通信领域使用的经典机器学习模型直接应用到无线移动通信系统的方法，由于机器学习模型中参数众多、具体物理意义不清晰，故称为黑盒方法。展开方法则是依据对无线移动通信系统的理解，针对现存的无线移动通信系统经典模型进行展开，重新构建出机器学习模型的方法。

下面以经典的ZF和MMSE检测方法为例，对展开方法进行简单的说明。ZF和MMSE其检测矩阵分别表述为：

ZF：（HHH）-1HH   （1）

MMSE：（HHH+βI ）-1HH  （2）

从经典的模型驱动方法的角度来看，β是噪声方差与信号方差的比值，在应用时需要分别估计噪声方差和信号方差，或者等效为信噪比估计。而从基于模型展开的数据驱动方法的角度来看，β是一个将ZF和MMSE算法综合到一起的参数。ZF和MMSE检测算法在不同信道环境以及信噪比情况，其性能表现也不尽相同，通过实际系统所提供的数据训练生成该系数β，可以使得检测算法更好地匹配无线信道环境。文献[12]给出了一种采用展开方法、构建基于深度神经网络的MIMO检测器的方法，其将经典的迭代检测方法，通过深度神经网络进行展开，其中每一次迭代对应神经网络中的一层，由于在每一层中引入了待训练的参数，其获得的模型更精确。

通过展开的方法，获得新的机器学习模型是目前学术界进行研究的趋势之一，但需要注意的是，这种展开方法导致机器学习模型的结构会千变万化，而且依旧存在大量的矩阵求逆的操作，虽然性能获得了提升，但相对于通用的神经网络模型，其较高的实现复杂度将限制其应用场景。

3.2  机器学习模型部署/更新问题

当机器学习推演机构在无线移动通信系统内部时，如何进行机器学习模型的部署/更新是一个待研究的问题。

依托深度神经网络的广泛应用，其发展出多种经典的神经网络模型，比如DNN、RNN、CNN等。神经网络主要由神经元以及描述神经元之间的关系的参数构成，这为采用参数传递的方式进行机器学习模型部署/更新提供了可能。以DNN为例，描述其模型的主要参数包括：层数、每层（包括隐藏层）的神经元个数以及每一个神经元的权重、偏差、激活函数。

另外一种部署/更新机器学习模型的方法是采用内生业务部署的方式。简单地说，可以把机器学习推演模型看作一种应用（APP），其模型的部署/更新即APP的下载、安装过程。相对于前述参数传递方式，采用系统内生业务的方式可以部署/更新更复杂的模型，并且也有利于模型本身的内部结构的保护。

3.3  如何应用强化学习

强化学习是利用与环境的交互提升决策准确度的方法。在无线移动通信系统中，不同网元（基站、终端等）因其所处的位置不同，从而导致其所面对的环境千差万别，并且其所处的环境也会因为信道的变化、用户的移动等因素而实时变化。因此，有必要将强化学习引入到无线移动通信系统中，使其更智能、更精确地匹配环境的变化。

当所要决策的问题是系统中某一局部的问题时，可以直接将强化学习构建在其内部的解决方案中，但是当所要决策的问题是系统性的问题时，需要系统中的不同网元提供有关环境状态、回报的信息。具体地，针对某一个系统性的问题，在应用强化学习时，至少需要考虑下述相关内容：

◆代理：即决策的主体，它可能位于系统环境中某一网元。

◆状态：系统环境中所有相关网元需要向代理提供的用于计算环境状态的信息集合。

◆回報：系统环境中所有相关网元需要向代理提供的用于计算回报的信息集合。

◆行动：针对系统环境中的目标网元或其某具体功能单元，代理可能做出的行动集合。

进一步，借助强化学习的决策机制可以对离线训练获得的模型进行在线训练的控制和更新。

3.4  网络内生智能相关的标准化问题

在采用系统外推演方式时，仅仅要求无线移动通信系统提供可以被机器学习相关机构调用的接口。而采用系统内推演时，结合前述问题的探讨，需要考虑系统内不同网元、层之间的标准化问题。比如，当机器学习在线训练机构部署在基站侧，机器学习模型推演单元部署在终端侧时，经过空口至少需要传输如下信息：

◆机器学习模型描述信息：可以采用参数传递或内生业务的方式进行传输。

◆强化学习相关的状态、回报、行动信息：可以依托现有标准化接口所能提供的信息，但必要时需要进行增加或优化。

◆训练/推演数据：应尽量使用目前空口所能提供的数据进行训练/推演，但必要时需要进行增加或优化。

4   结论

本文针对将机器学习技术应用到无线移动通信系统的必要性与可行性进行了分析。从可行性角度来看，引入机器学习在其工作原理上、训练数据可获得上以及计算复杂度方面均具有可行性。从必要性来看，其可以解决复杂问题、提高性能和降低成本。进一步，由于采用系统内推演的方式，可以降低系统内外传递的数据需求，降低处理时延，从而更有利于采用机器学习技术解决无线移动通信系统内部的问题，因此建议在未来的6G网络中构建内生的智能。

本文对内生智能所引发的关键问题进行了探讨，包括机器学习模型建模问题、机器学习模型部署/更新问题、如何应用强化学习问题以及标准化问题等。这些问题需要在无线网络智能化进程中被持续关注和研究。特别地，在标准化方面，由于网络内生智能将影响不同网元、单元的功能与接口的变化，这将导致无线网络架构的变革，需重点研究。

参考文献：

[1] 3GPP. 3GPP TR23.791 V16.2.0： Study of Enablers for Network Automation for 5G （Release 16）[R]. 2019.

[2] 3GPP. 3GPP TS23.288 V16.3.0： Architecture enhancements for 5G System （5GS） to support network data analytics services （Release 16）[S]. 2020.

[3] 3GPP. 3GPP TR28.809 V0.3.0： Study on enhancement of Management Data Analytics （MDA） （Release 17）[R]. 2020.

[4] 3GPP. 3GPP TR37.816. V16.0.0： Study on RAN-centric data collection and utilization for LTE and NR （Release 16）[R]. 2019.

[5] ITU. ITU-T FG-ML5G-ARC5G： Unified architecture for machine learning in 5G and future networks[S]. 2019.

[6] CCSA. CCSA TC5-WG6-2019-045： 人工智能和大数据在无线通信中的应用研究报告[R]. 2019.

[7] CCSA. CCSA TC5-WG6-2019-025： 移动通信网络智能化能力分级研究（送审稿）[R]. 2019.

[8] O-RAN Alliance White Paper. O-RAN Use Cases and Deployment Scenarios towards Open and Smart RAN[R]. 2020.

[9] Y H P， J C X， Q Y. Developing Networks using Artificial Intelligence[M]. Switzerland： Springer Nature Switzerland AG， 2019.

[10] L F L. Machine Learning for Future Wireless Communications[M]. New Jersey： John Wiley & Sons Ltd， 2020.

[11] H R S， D Z G. Applications of Machine Learning in Wireless Communications （IET TELECOMMUNI CATIONS SERIES 81）[M]. London： The Institution of Engineering and Technology， 2019.

[12] H H T， W C K， J S. Model-Driven Deep Learning for Joint MIMO Channel Estimation and Signal Detection[EB/OL]. （2019-07-22）[2020-04-18]. https：//arxiv.org/abs/1907.09439v1.

作者简介

索士强（orcid.org/0000-0002-9869-5466）：高级工程师，硕士毕业于电信科学技术研究院，现任职于大唐移动通信设备有限公司，长期从事无线移动通信系统的新技术研究、验证与标准化工作，研究方向为6G及未来新技术。

王映民：教授级高级工程师，北京邮电大学博士生导师，博士毕业于西安电子科技大学，现任职于大唐移动通信设备有限公司，研究方向为移动通信信号处理与无线组网、车联网等。