王月娟,张苏宁,吴水明,朱 斐

(1.国网江苏省电力有限公司苏州供电分公司,江苏 苏州 215004;2.苏州大学计算机科学与技术学院,江苏 苏州 215006)

0 引 言

近年来，随着网络的规模逐步变大，传统的路由选择算法越来越难以处理日益复杂的网络；同时，网络线路的动态变化、网络负载的不确定性给路由选择算法带来了极大的挑战，因此如何设计有效的路由选择算法是研究人员关注的热点和难点。

传统的静态路由选择算法一般根据某种固定规则进行路由选择，对于网络的变化和波动不能及时作出相应的调整，只能依靠人工更新路由表才能适应新的网络环境，而动态路由选择算法能够根据网络当前的状态进行动态的路由选择。动态路由选择算法分为3种：集中式、分布式与混合式[1]。集中式路由选择算法通过收集全网的状态信息进行路由计算从而得到最优的路由选择策略。这类算法能够适应不同的网络环境并且做出最优的决策，但是需要定期从所有路由中获得数据，并且需要一个网络控制中心对数据进行收集处理，增加了网络的成本。分布式路由选择算法无需其他路由的信息，通过处理获得数据动态地调整策略以适应网路波动，但是复杂的算法会降低处理速度，增加网路负担[2]。

人们开始尝试使用机器学习的方法来进行动态路由选择。在机器学习领域中，强化学习是一类重要的学习算法。强化学习方法的Agent通过与环境的交互来获得奖赏从而改进自身的策略，通过不断地迭代得到最优策略[3]。……