中图分类号：TP181 文献标志码：A 文章编号：1001-3695（2025）06-012-1691-07

doi：10.19734/j. issn.1001-3695.2024.11.0473

Physics-informed reinforcement learning-based car-following control model for autonomous vehicles

Zhou Ruixiangla，Yang Dalb，Zhu Liling²+ （1.a.ScholeicoptiouUit China；2.School ofBusiness，SichuanNormal University，Chengdu 61o1oo，China）

Abstract：Car-folowing controlisafundamental technique forautonomous driving.Inrecentyears，einforcementlearning hasbeenwidelyadopted incar-folowing tasks，enabling models toexhibit strong learning andimitationcapabilities.However， reinforcement learning-based modelsface chalenges such aspoor interpretabilityandunstableoutputs，which pose potential safetyrisks.Toaddresstheseissues，thispaper proposedaphysics-informedreinforcementlearningcar-following model.The model incorporatedvehicledynamics，defined continuous stateandaction spaces，andintegrated threeclasicalcar-following models withreinforcementlearning to enhancestabilityand interpretability.Itconstructedasimulationenvironmentbyusing PythonadtheSUMOtraficsimulatortotrainthePIRL-CFmodel.Comparativeexperiments wereconductedagainsttraditional car-folowing modelsandmainstreamdeepreinforcementlearning models（DDPGandTD3）.Experimentalresultsshowthat the PIRL-CF model improves the proportion of comfort zones by 8% compared to deep reinforcement learning models. Additionaly，itincreasestheminimumtime-to-colisionbyO.3sandtheaverageheadwaydistancebyO.21scomparedtotraditional models.Theseresultsdemonstratethat thePIRL-CFmodelachieves abalanceofsafety，comfort，anddri-ving effciency in car-following tasks，providing an efective solution for autonomous driving decision-making.

Key Words：vehicle folowing;reinforcement learning；depth deterministic strategy gradient；physical information

0 引言

近年来无人驾驶技术受到了世界范围内的广泛关注，其中车辆跟驰控制是无人驾驶的基础控制技术之一。车辆跟驰控制能够确保车辆在不同交通条件下的安全行驶，有效提高了道路交通安全性和行驶效率。同时，它也是实现高级别自动驾驶的关键技术支撑，为未来的智能交通系统奠定了重要基础。

随着人工智能技术的发展，通过人工智能的方法进行无人车的跟驰控制成为了无人车控制的一个前沿发展方向。Panwai等人[利用BP神经网络建立的跟驰模型展现出优于Gipps模型的预测精度。Zhang等人[2基于LSTM神经网络对NGSIM数据集进行训练，建立了跟驰和换道模型。Ma等人[3]提出的seq2seq跟驰模型，不仅能重现真实跟驰轨迹，还能模拟异质性驾驶行为，其性能优于传统IDM模型。相较于传统的基于固定规则的车辆控制算法，基于深度强化学习的模型可以更好地应对复杂多变的实际交通场景。文献[4]提出了一种基于双前车跟驰结构的纵向控制算法，该算法通过人类驾驶员试验收集数据，建立前车加速度变化的随机模型，并将其引入深度强化学习训练中，从而有效考虑前车运动的随机性。Shi等人[5]基于深度强化学习提出了一种协同纵向控制策略，适用于混合交通流环境。实验结果显示，该模型能够在不同渗透率的混合交通流环境下有效完成安全、节能的跟驰任务。He等人[探讨了不同风险水平下的自适应车辆轨迹控制问题，设计了一种深度自适应控制算法，根据实时交通风险调整车辆行驶轨迹。……