章国安,2,丁晨莉,包志华

(1.南通大学 电子信息学院，江苏 南通 226019;2.东南大学 移动通信国家重点实验室，南京 210096)

1 引 言

认知无线Mesh网络(Cognitive Wireless Mesh Networks, CogWMN)是一种利用 认知无线电(Cognitive Radio，CR)技术的无线Mesh网络，配有CR模块的CMesh(Cognitive Mesh)节点能够感知主系统的空闲频谱、动态接入空闲频谱。CogWMN是一种结合CR与WMN新型的网络形式[1-2]。

在认知无线Mesh网络环境下，即使寻找到最优的一条路径传输业务数据流，也仍然会因避让首要用户使用授权信道而暂时中断业务流的传输，导致数据流延时。利用多路径传输，即使其中一条路径被破坏，其它路径节点也可以继续传输数据包，减少数据包延时，保障服务质量。文献[3]指出相比无认知环境的网络，在认知环境下，网络内多路径传输的延时、平均丢包率、平均队列时间均有所下降。

近年来，强化学习被应用在无线网络内。多agent系统可用来很自然地模拟与抽象现实中分布、动态、开放、复杂的问题[4]，在认知环境下，多agent强化学习能够帮助节点感知更多的频谱或者进行有效的功率控制[5-6]。为了减小变化的频谱空穴给路径传输带来的负面影响，使网络节点能够自适应选择较优路径传输数据，本文提出了基于多agent强化学习的多路径自适应路由(Multi-Path Q Reinforcement Learning Algorithm，MPQRLA)，能够适应认知无线Mesh网络动态变化的环境。

2 基于多agent的自适应多路径算法

2.1 多agent的强化学习模型

如图1所示，配有认知无线电模块的CMesh节点根据认知环境感知信道和估计其周围首要用户的功率、距离等，进入初始状态，经过一系列中间状态及其行动选择，达到较理想的状态，即传输业务流状态。……