李建东/LI Jiandong，牛淳隆/NIU Chunlong，赵晨曦/ZHAO Chenxi，刘俊宇/LIU Junyu

（西安电子科技大学，中国 西安 710071）

随着5G移动通信的全面商用，未来的6G移动通信系统的网络性能[1]将在原有的业务场景下进一步提升。6G移动通信将组成一个巨大的分布式神经网络，实现通信、感知、计算、存储一体化[2]，深度融合物理世界、生物世界和数字世界，真正实现“万物互联”。同时，随着人工智能（AI）技术的进一步发展，6G通信网络将会更加智能化[3]。基于数据驱动的算法赋能网络动态的自我学习能力和调节能力，充分挖掘用户的潜在需求并制定个性化的服务。此外，超密集异构网络（UDN）[4]在未来6G移动通信系统的发展中依然占据主导地位，6G基站的密度进一步提高，用户的业务数据请求维度进一步增大，数据服务的个性化要求进一步提升。上述的发展需求对未来的移动通信网络提出了更高的要求，如更加密集的基站数目、更多的天线阵列和更多维度的资源管控问题[5]。

截至2022年底，全国移动通信基站总数达1 083万个。基站越多，对应的频谱资源管控问题越复杂，同时如果资源管控方案不合理，则会产生巨大的能量损耗。根据估算，三大运营商一年需要支付的电费已超500亿元。针对未来超密集基站和超高用户数据等现象导致的能耗过高问题，未来6G无线移动通信的宏观驱动力之一便是实现环境可持续发展。2020年9月，中国宣布力争二氧化碳排放于2030年前达到峰值，2060年努力实现碳中和[6]。“双碳”战略对6G移动通信系统的网络性能提出了更高的要求。为保障用户服务质量，实现能量的极致利用，平衡能源的供需关系，降低异质网络架构的系统碳排放，我们需要研究智能化的组网传输方法。

1 基站能耗分析

基站是移动通信系统最重要的组成部分之一，它实现了大规模的无线覆盖，保障了移动用户的业务需求被及时满足。一个完整的基站包含的设备数量较多，根据耗电量调查，传输设备、基站主设备、动力配套设备、环境温度控制设备、监控设备、照明设备等的耗电量都相对较高，其中基站主设备、环境温度控制设备的电能消耗量大。功率放大器是射频通信系统中极为重要的器件，射频放大器将输入到输入端的信号进行放大并输出。作为通信电路中的主要设备，基站的功率放大器所消耗的功率无疑是低能耗组网的重点研究内容[7]。当前5G基站的主要组成部分有：集中单元（CU）、分布单元（DU）和有源天线单元（AAU），其中各个组成部分和对应的功耗来源占比分析如图1所示。

图1 基站能耗占比

基站的AAU是主要的功耗占比模块，而功率放大器是AAU的主要能量消耗模块。此外，当基站工作在中高负载区域时，功率放大器的能量损耗是占比最大的，接近60%。因此，着重研究功率放大器在中高负载区域工作时的性能特点并设计相应的算法，对降低基站功耗有着重要的意义。

1.1 传输能耗的非线性特征

建模通信网络场景时，计算每个用户和基站之间的信道容量可以采用香农公式[8]：

由S=G·Pout可得C(Pout)=W·log2(1+G·Pout/(I+N))，易证明香农公式是凹函数。根据凹函数性质可得：n·C(Pout)≥C(n·Pout)，其中当Pout=0或者n=1时，等号成立。所以在实际传输时，我们假设信道特征不变，在用户的时延要求内，将当前给定的总功率拆分为多个小功率进行多时隙发送，那么系统总容量将会增大。也就是说，传输相同的数据量，相比于单时隙大功率传输，多时隙小功率传输将给系统带来更低的能耗。不仅如此，每个时隙分配的功率资源越少（总能耗不变的情况下），系统传输的容量越大，可节约的能量越多。

我们用软件仿真两个时隙的传输过程，具体如图2所示。横轴表示基站的发射功率，纵轴表示单位传输数据量，假设t1、t2、t3时隙长度均为1 s，若在t1、t2时隙分别消耗了1 J能量，总共消耗2 J能量，那么传输数据量为2个单位；若仅在t3时刻单次消耗2 J能量，此时传输的数据量减少到1.585个单位。所以在同等能量消耗的条件下，两个时隙的小功率传输方案可以使得可服务数据量提升26%，故可以通过感知和预测多个时隙的信道信息和业务到达情况进行业务整形，进而实现资源整形，将一定的功率分成多份后分配在各个时隙上进行数据传输，从而大大增加系统容量，提高网络能量效率。

图2 软件仿真时隙传输过程中对数函数的性质

1.2 功放能耗的非线性特征

在通信资源分配问题中，基站给每个用户分配不同的资源块，根据用户的需求，将携带用户数据的小信号通过基站的功率放大器进行一定比例的放大处理，并最终通过天线端发送给用户。目前，移动通信系统资源调度的大量研究工作主要考虑的是基站的输出功率如何分配，并没有发现实际传输时一段时间内功放能耗的非线性特征。理想的功率放大器的输入功率与输出功率是一种考虑截断效应的映射关系，在饱和输出功率内，输出功率与输入功率是线性的关系。而实际的功率放大器的总输入功率与输出功率的映射是非线性的关系，功放在较大负载时会出现非线性的特点。

根据调研所绘制的测试数据如图3所示，基站工作在低负载区域时，功率放大器的输入功率和输出功率呈现近似线性的关系。在数据密度较大的业务场景中，因为基站工作在中高负载区域时，非线性特点非常突出，输出功率的增加趋势变缓，所以在单位时间内功放的输出能耗不会随输入能耗一直线性增长，在高数据密度业务场景下功放的输出能耗增长缓慢并最终趋于饱和。传统的资源调度方法只考虑优化输出功率，因此，结合系统传输能耗的非线性特征，我们提出了多时隙业务联合整形的思想，通过对业务请求的联合整形，让基站工作在低负载区域，从而降低系统能耗。

图3 功放输入输出功率关系

1.3 业务抖动与功放能耗的关系

根据调研及实测数据，我们了绘制如图4所示的曲线。我们发现，如果基站的输出功率在一段时间内波动较大，则会产生额外的能量损耗，尤其当基站工作在中高业务负载区域时，由于业务抖动所引起的额外能耗会超过100%。额外能耗的产生是由于用户的业务请求在一段时间内突然增大导致，这使得基站工作在中高负载的非线性区域。因此，后续我们设计的重点是如何降低用户的业务请求的突发性，从而获得平稳的业务处理流，最终实现基站远离非线性工作区域、减少无线网络的额外能耗的目标。

图4 业务抖动对功放能耗的影响

2 通信网络建模

2.1 低能耗资源调度模型

通信网络简化示意如图5所示。我们将通信网络建模为图模型[9]G(V,E)，每个基站、用户对应节点V，基站和用户之间的连接关系为边E。引入时隙的概念，对于每一个时隙t，时隙长度设为Td，单位为s，观察时间窗口长度为T，单位为s。基站的节点特征变量包括：发送功率Pon(t)、输入功率Pin(t)、输出功率方差Pvn(t)；用户的节点特征变量包括：传输速率Cm(t)、当前时隙用户剩余需要传输的数据Drm(t)、当前时隙用户的总数据业务完成比例CRn(t)；基站与用户之间的信道增益和接入矩阵分别为GNM(t)和XNM(t)。N表示基站集合，N=(1,2,…,N)，N表示基站的总数；M代表用户集合，M=(1,2,…,M)，M表示基站的总数。

图5 通信网络示意图

基站与用户进行通信时，会进行相应的匹配，并发射无线电信号。这些信号经过一定的路径损耗到达用户[10]。由香农公式，我们可以得到每个用户m在时隙t的服务速率，具体如公式（2）：

信噪比（SINR）是指信号干扰噪声比，即有用信号比其他信号的干扰加噪声。那么，SINR在正交多址接入（OMA）系统下的计算公式为：

根据上述基础公式，我们建立了低能耗资源调度优化模型：

为实现优化目标，我们将业务完成率CRm(t)进行最大化，基站输入能量Pin(t)和输出功率波动Pvn(t)进行最小化。约束条件为：每一时隙每个用户最多连接一个基站；每个基站最多可接入用户数不超过其最大子载波数；每个基站分配给所有其接入用户的功率不超过该基站的最大功率阈值；每个用户的服务质量范围规定在0～1之间。

2.2 模型求解算法设计

随着人工智能（AI）技术的发展，深度学习[11]和强化学习[12]被逐渐应用于资源调度领域。根据上述建立的系统模型，我们设计了多时隙业务联合整形的深度强化学习（MSRS-HDDPG）算法，并在核心架构中采用了深度确定性策略梯度（DDPG）算法[13]。

具体的强化学习三元组设计如下：

1）状态空间st：具体包括用户业务量Dm(t)、用户未完成传输的数据量Drm(t)、每个用户的数据完成率Crm(t)、信道信息Gnm(t)、基站输入功率Pin(t)、基站输出功率方差Pvn(t)。

2）动作空间at：具体包括用户和基站的连接关系Xnm(t)、基站的发射功率Pon(t)。

3）奖励函数rt：

具体的网络架构设计如下：

1）动作网络输入状态信息st，输出需要优化的动作at。

2）评价网络输入(st,at)，输出当前状态下选择该动作的价值Qt。

3）目标动作网络输入st+1，输出at+1，即下一时刻的动作估计；目标评价网络输入(st+1,at+1)，输出下一时刻的动作价值Qt+1。

多时隙业务联合整形的模块具体设计如下：

1）假设时隙为t，用户m的数据业务请求量为Dm(t)；

2）根据历史数据估计每个基站n的负载情况；

3）若基站工作在非线性区域，那么将功率的最大值约束设为线性区域的最大发射功率，并计算用户在时隙t的未完成业务量Drm(t)，D′m(t+1)=Drm(t)+Dm(t+1)；

4）若基站工作在线性区域，则根据强化学习算法直接完成当前时隙的全部业务请求；

5）重复上述步骤3）、4）至时隙T。

算法的具体执行流程如算法1。

算法1 多时隙业务联合整形的深度强化学习算法初始化评价网络、动作网络和对应目标网络的参数初始化缓存空间，存放探索的状态转移向量作为神经网络训练样本for episode=1，2，…，EPISODES do初始化探索状态s0感知和预测一段时间内信道信息for t=1，2，…，T do根据多时隙的请求和信道估计进行业务联合整形随机输出探索动作at并将输出功率映射到输入功率根据整形后的业务需求设计当前时隙的奖励函数rt执行后观测当前时隙的奖励和下一时刻的状态st+1将状态转移（st，at，rt，st+1）存入缓存空间

3 仿真结果与分析

本文中，我们设计在面积为1 km2的区域内随机生成250个用户的坐标，同时固定生成了25个基站，用户和基站的分布如图6。

图6 基站与用户的随机分布图

具体仿真参数如表1所示。

▼表1 仿真参数

此外，在仿真时，针对基站功放输入功率和输出功率的映射关系，本文中我们选取了具有凹函数性质的映射函数。可以证明，系统总的优化目标是输入功率的凹函数，一段时间内的功放能耗存在非线性特性。

用户服务质量和基站能量效率随用户带宽的变化趋势如图7所示，通过仿真不同带宽下的各种算法性能可知，我们提出的算法的实际能量效率远高于另外两种算法（分别高出25.6%和40%）。实际能量效率的定义为：基站的服务完成率和基站消耗的总输入能量的比值，这充分反映了用户的服务质量和基站能耗的平衡关系。

图7 用户服务质量和基站能量效率随用户带宽的变化趋势

用户服务质量和基站能量效率随业务量的变化趋势如图8所示，通过仿真不同数据访问量下各种算法的性能可得：在较大数据量的访问情况下，本文所设计的算法的业务完成率仅损失约1%，但时实际能量效率分别高出32.9%和45.7%。

图8 用户服务质量和基站能量效率随业务量的变化趋势

4 结束语

有限的通信资源和日益增长的个性化用户数据业务导致未来6G移动系统的通信资源管控问题越来越突出。针对这种供需匹配问题，同时为了响应国家提出的“双碳”战略，本文中我们提出了多时隙业务联合整形的深度强化学习算法。该算法充分考虑了系统的传输能耗和功放能耗的非线性特征，从时间尺度上进行了长期优化策略的训练，从而对优化目标做出了更加准确的调整。该算法旨在基本相同的服务质量条件下，降低系统的总能耗。对比最大化用户服务质量MAX_CR和最大化传输速率MAX_C两种算法的性能，我们提出的算法在服务质量上约损失6%，但节约了近33%的基站总输入能量。本文定义的实际能量效率指标分别比对比算法高出28.57%和38.46%；增大带宽和用户的数据量时，本文所提算法的实际能量效率ηAEE均有所提高，实现了低能耗资源管控的目标。

未来，在应对6G超大数据密度业务场景，如虚拟现实（VR）等多维数据业务场景时，本文所设计的算法的优势会更加明显：可以在保障一定服务质量下充分节约基站的功放能耗，从而极大地改善整个网络的性能。当网络规模逐渐扩大时，算法的收敛速度问题亟待解决。因为时间成本过高会导致资源调度效果较差，而且不同的场景规模重新训练的成本较高，所以未来需要集中研究超大动态规模网络的算法设计问题，实现不同场景规模下的算法快速移植和快速收敛，最终实现网络对当前场景特征的快速挖掘和学习。