李忠涛

（中国电子科技集团公司第五十四研究所 河北省石家庄市 050081）

1 引言

随着通信与信息采集技术的发展，水面无线通信与水下目标采集越来越受到各国的重视，但是由于水面无线通信节点受限于天线高度、海浪遮挡等因素影响，导致通信距离较短，信息采集范围严重受限。因此，利用空中移动无线通信节点遍历水面无线通信节点进行信息采集成为重要远程水面无线通信与信息采集手段。应用场景示意图见图1。

无线通信节点通过无线进行数据传输，具有一定的通信半径。利用节点通信半径的优势，以最小化移动空中通信节点的移动路径为目标，寻找监测点和相应的移动路径，便可以达到缩短覆盖时间与节约能耗的目的。

本文中拟采用Double Deep Q-learning模型进行算法设计，该算法是强化学习中的一种 values-based 算法，实现一种神经网络模型来代替表格 Q-Table，解决了系统状态过多导致的Q-Table过大问题。在这个网络模型中我们可以为空中通信节点的每个状态找到一个好的动作，以得到最优路径。通过不断学习，可以得到优化的DDQN模型，通过该模型引导空中无线通信节点移动路径，以最小代价实现水面通信节点覆盖。

2 通信网络的寻路算法

2.1 Double Deep Q-learning模型

Deep Q-learning（DQN）是基于Q-learning演变过来的。Q-learning使用Q-Table来储存state与action之间的q值。如果在环境中，State很多，然后Agent的动作也很多，那么毋庸置疑Q-table将会变得很大很大（比如说下围棋），又或者说如果环境的状态是连续值而不是离散值，尽管我们可以将连续值进行离散化，但是又可能会导致Q-table变得庞大，因此在DQN中我们使用神经网络来代替Q-Table，如图2所示。……