肖 铮

（四川工商职业技术学院 信息工程系，成都611830）

0 引言

5G 网络系统中，采用了终端直通（Device-to-Device，D2D）技术直接通信，D2D 技术是目前最具前景的5G 技术。所谓D2D 通信技术，就是指两个对等用户进行直接通信，而不需要利用基站转发的一种新型通信方式。[1]在由D2D 用户组成的网络中，每一个用户都能发送并且接收通信信号，同时还具有路由功能。如果D2D 用户之间的距离很近，而两者距离基站很远，那么选用直接通信的方式更好。上述情况只是一个简单的特例，有时因为网络状态等因素，反而选择理论上不可取的方式对解决实际问题更加有利。因此，需要寻求一种通用的、能适应大部分情况的方法，同时需要对实际问题进行建模，确定一种通用的模式选择规则。本文将D2D 模式选择与马尔可夫决策过程（Markov decision process，MDP）[2]相结合，提出了一个解决模式选择问题的新思路：基于马尔可夫决策过程的算法研究。

1 马尔可夫决策过程模型

1.1 信道模型

如果D2D 用户采用的是复用蜂窝资源的通信方式，网络内部就会产生新的干扰，每一个接收用户都会收到来自复用同一频带资源的其他用户的干扰信号，基站也会受到影响。采用平坦瑞利衰落信道模型，接收端信号幅度满足瑞利分布。瑞利分布是一个平稳的窄带高斯过程，它的均值是0，方差是σ2。[3]在该信道模型中，假设接收机会受到一个加性高斯白噪声（AWGN）的影响。AWGN 是无线信道中最基本的噪声干扰模式，其幅度服从高斯分布（零均值，方差为N0）。在该模型下，可以得到信噪比SINR。……