刘元元，卢守峰，刘肖亮，朱婷婷

速度协调的Q学习模型研究

刘元元1，卢守峰1，刘肖亮2，朱婷婷1

(1. 长沙理工大学 交通运输工程学院，湖南 长沙 410114；2. 湖南联智科技股份有限公司，湖南 长沙 410219)

为平滑高速公路瓶颈区域上、下游车流速度，基于单位距离速度变化量和多项式SG卷积平滑处理的2个奖励函数，分别建立了2个速度协调的Q学习模型。利用Excel-VBA、VISSIM和MATLAB的集成仿真平台，对奖励函数的性能进行了仿真分析。研究结果表明：基于SG卷积平滑的奖励函数，可以有效地缓解瓶颈上游“走走停停”的现象，减小速度的波动幅度。速度协调的Q学习模型可以根据交通状态实时选择最优的运行速度。

速度协调；Q学习算法；SG卷积平滑；集成仿真平台

小汽车拥有量日益骤增，交通密度增大，交通流处于不稳定状态，加之车道变窄、合流分流、不良天气、急刹车等因素，容易导致车辆加减速循环、走走停停，不仅延误行程，降低通行能力，还增加燃油消耗，产生大量的有害气体，污染环境。因此，如何有效缓解高速公路交通拥堵现象，已成为许多学者深思的问题。

有学者提出高速公路速度控制方法，即速度协调（基于可变速度限制、车辆信息共享和自动车辆控制等策略，平滑车辆在高速公路运行时的速度变化，使得交通顺畅，提高道路通行能力，缓解交通拥堵）。国内外学者对该方向进行了大量研究。Li[1−2]等人提出了基于描述函数的理论特性和强化学习的汽车跟随模型，与传统的建模方法相比，构建策略可以有效地抑制振荡幅度的发展，从而减少油耗和废气排放。……