严牧 孙耀 冯钢

摘要：介绍了无线网络中的强化学习算法，认为由于强化学习算法与环境交互并动态决策的特点，其对复杂网络环境有着较强的适应能力；然后针对无线网络中的强化学习方法的应用场景做了概述，并给出了两个基于强化学习的无线接入技术案例：毫米波技术的切换技术和Multi-RAT接入技术。可以看到：智能的无线接入技术由于具备充分挖掘和扩展无线网络资源的潜力，能够显著提高无线网络用户的体验。

关键词： 未来无线网络；切换；接入控制；强化学习

Abstract： In this paper， the application of reinforcement learning in wireless network is briefly introduced. Due to the characteristics of interacting with environment and dynamic decision making， reinforcement leaning algorithm has strong adaptability to complex network environment. Then the application scenarios of reinforcement learning method in wireless network are summarized， and two cases of wireless access technology based on reinforcement learning are given： handoff policy of mmWave HetNets and multi-rat access control. Intelligent access control of wireless network is powerful in exploiting wireless network resources， which can improve the quality of experiences of mobile users.

Key words： future wireless network； handoff； access control； reinforcement learning

当今社会已经迈入信息经济时代，信息技术已成为推动经济结构向多样化消费和低能耗高效发展的重要驱动力。据思科公司预测，到2019年全球移动数据总流量将增长至每月24.3 EB，接近2000年全球互联网总流量的200倍[1]。另据全球移动通信系统（GSM）协会分析[2]，到2020年全球支撑物联网的机器对机器通信（M2M）连接数将达到9.8亿，接近2000 年全球M2M 连接数的14倍。无线通信网络在面临无线资源趋于枯竭的同时，正在经历着前所未有的高增速无线服务需求与低效率无线服务供给之间的矛盾。

未来无线通信将利用复杂异构网络来支持多样化应用场景，包括连续广域覆盖、热点高容量、高可靠低时延以及低功耗巨连接等。由于用户终端性能和业务需求的不同，用户体验质量（QoE）在不同通信场景也存在极大的差异性。出于成本和兼容性的考虑，未来无线网络将长期处于多网共存的状况，包括2G、3G、4G、5G、Wi-Fi 等，由于不同网络利用不同的无线接入技术，因而形成了接入技术的差异性。……