赵飞　刘宁　秦敏

摘 要：动态优化指的是计算机系统与计算机网络中对资源进行合理的分配和任务调度的理论工具。当前随着计算机系统与计算机网络的高速发展，关于动态优化的研究也得到非常大的进步，本文主要从马尔可夫决策来进行具体分析。

关键词：计算机系统；计算机网络；动态优化；模型；求解；应用

DOI：10.16640/j.cnki.37-1222/t.2016.06.137

0 引言

当前计算机系统与计算机网络得到非常快速的发展，在人们生活中使用得也越来越广泛，但是随着人们在使用过程中对有限的计算机网络资源要求越来越高，怎样进行合理的分配使计算机网络达到最大的使用效率成为人们研究的重要目标。马尔可夫决策的过程是计算机系统与计算机网络中动态优化的基础模型，因此本文以马尔可夫决策来具体分析模型、求解以及应用。

1 马尔可夫决策过程动态模型的建立

在计算机系统与计算机网络中的动态优化时，其中最为关键的地方就在于动态模型的建立，模型建立的好坏直接影响到此次决策所能起到的作用。

（1）马尔可夫的决策过程。马尔科夫的决策过程一般分为几个重要的步骤：第一步，先建立一个状态集合S，此集合需要具有描述性，决策者能够使用这个集合做出相关的行为。第二步，将决策者在这个S集合内所做的所有行为归纳为一个集合A。第三步，决策者在S集合内所作出的行为即集合A所产生的收益，可以用R来表示该收益函数。第四步，在整个马尔可夫决策过程中，在集合S中记录决策者的行为会发生一定程度的转移，将此可以总结为状态转移关系SM。……