丁怀宝

摘  要： 为解决软件定义网络（SDN）中的流量工程（TE）问题，提出了一种深度强化学习路由（DRL-Routing）算法.该算法使用较全面的网络信息来表示状态，并使用一对多的网络配置来进行路由选择，奖励函数可以调整往返路径的网络吞吐量. 仿真结果表明，DRL-Routing可以获得更高的奖励，并且经过适当的训练后，能使各交换机之间获得更优的路由策略，从而增大了网络吞吐量，降低了网络延迟和数据丢包率.

关键词： 软件定义网络（SDN）; 流量工程（TE）; 奖励函数; 深度强化学习路由（DRL-Routing）

中图分类号：  TP 312       文献标志码： A      文章编号： 1000-5137（2021）01-0128-05

Abstract： In this paper，a deep reinforcement learning routing （DRL-Routing） algorithm was proposed to solve the traffic engineering （TE） problem in software defined networking （SDN）. The algorithm proposed made use of more comprehensive network information to represent the state，and adopted one-to-many network configuration for routing selection. Besides，the reward function was able to adjust the network traffic of the round-trip path. The simulation results showed that DRL-Routing could obtain higher rewards. After proper training，the agent could learn a more excellent routing strategy between the switches，which increased network traffic and reduced network delay and data packet loss rate.

Key words： software defined network（SDN）; traffic engineering（TE）; reward function; deep reinforcement learning routing（DRL-routing）

0  引言

随着Internet的不断发展，网络中的数据流量日益激增.尽管通过增加链路带宽和提高交换设备处理速度，可以暂时缓解网络流量增长的压力，但是这些并不能从根本上解决流量工程（TE）[1]中的吞吐量和延迟等方面问题.

传统路由配置中经常采用OSPF[2]（Open Shortest Path First，开放式最短路径优先）算法和LL[3]（Least Loaded，最小负载）路由算法，但这些算法无法满足如今越来越复杂和动态的网络，无法在具有动态流量分布的网络中找到最佳路由路径.

软件定义网络（SDN）[4]架构在数据收集、资源管理和路由优化等方面提供了许多新的解决方案.SDN控制器对整个网络进行集中控制，网络管理员可以根据自主定义的路由规则控制网络的转发流量，充当网络操作系统的角色.

本文作者提出一种深度强化学习路由（DRL-Routing）算法，以解决SDN的吞吐量和延迟等方面的问题.该方法可以调整从优化路径往返双向网络的吞……