余云河，孙君

机器类通信中集中式与分布式Q学习的资源分配算法研究

余云河，孙君

（南京邮电大学通信与信息工程学院，江苏 南京 210023）

针对海量机器类通信（massive machine type communication，mMTC）场景，以最大化系统吞吐量为目标，且在保证部分机器类通信设备（machine type communication device，MTCD）的服务质量（quality of service，QoS）要求前提下，提出两种基于Q学习的资源分配算法：集中式Q学习算法（team-Q）和分布式Q学习算法（dis-Q）。首先基于余弦相似度（cosine similarity，CS）聚类算法，考虑到MTCD地理位置和多级别QoS要求，构造代表MTCD和数据聚合器（data aggregator，DA）的多维向量，根据向量间CS值完成分组。然后分别利用team-Q学习算法和dis-Q学习算法为MTCD分配资源块（resource block，RB）和功率。吞吐量性能上，team-Q和dis-Q算法相较于动态资源分配算法、贪婪算法分别平均提高了16%、23%；复杂度性能上，dis-Q算法仅为team-Q算法的25%及以下，收敛速度则提高了近40%。

资源分配；集中式Q学习；分布式Q学习；余弦相似度；多维向量

1 引言

机器型通信（machine type communication，MTC）允许智能物体在没有人为干预情况下实现相互通信，3GPP（3rd Generation Partnership Project）认为MTC将会对物联网（internet of things，IoT）的发展起到关键作用[1-2]。随着IoT的普及，对“物”之间的通信具有很高的需求，即使5G也不能保证满足未来新业务的所有需求，因此在B5G（beyond 5G）和6G网络中，MTC将会是研究人员关注的重点[3-4]。思科预测到2022年各行业中将会有39亿个MTC设备连接到网络中[5]，而海量机器类通信设备（machine type communication device，MTCD）连接不仅导致频谱资源匮乏，还会造成网络拥塞，给基站（base station，BS）带来沉重负担。

在部署了高密度MTCD的mMTC网络中，将MTCD分组为较小集群被视为一种有助于缓解MTC网络拥塞，提高MTCD接入成功率，进而促进吞吐量提升的技术[6]。……