常梦磊，罗述翔，李幸睿，李鲁群

(上海师范大学 信息与机电工程学院，上海 201418)

车载网络、远程医疗、工业控制等领域需要低时延、高可靠性的网络传输。网络时延包括传输时延、传播时延、处理时延和排队时延。传播时延与传输介质物理特性有关，该部分时延很难减少。所以降低网络时延的方法，主要从处理时延、传输时延和排队时延方面考虑。

目前，降低网络时延的方法主要是优化排队策略和优化拥塞控制。如刘正飞等[1]使用自动队列管理算法(active queue management，AQM)管理数据等待队列长度，提高了网络链路利用率，但可能导致重要数据无法及时到达的问题。秦唯特[2]使用数据中心网络算法(data center TCP，DCTCP)和显式拥塞指示标记方法(explicit congestion notification，ECN)优化排队队列过长问题，但存在吞吐量抖动的问题。刘岩[3]采用随机流量预测算法(random early detection，RED)解决拥塞问题，但会出现网络链路参数调整不及时、拥塞控制有延迟的问题。邓仕军[4]提出了基于Q-learning算法的拥塞控制算法，但算法易出现因为样本不均衡导致的过拟合现象。

清华大学在2019年提出了基于快速用户数据报协议(user datagram protocol，UDP)互联网连接协议(quick UDP internet connections protocol，QUIC)的最后期限感知的传输协议[5](deadline-aware transport protocol，DTP)，该协议继承了QUIC协议的多流支持并且具有数据块传输、Deadline、优先级等多个特性，明确指出在DTP中实现低时延需要满足数据包的Deadline。本文在DTP协议基础上提出了ERDQN算法，该算法充分考虑了数据发送端数据块的优先级和Deadline，优化了排队策略，降低了排队时延。利用强化学习网络，自主学习调整传输参数，降低了传输时延。……