（重庆交通大学机电与车辆工程学院，重庆 400074）

引言

混合动力汽车（HEV）具备传统汽车和纯电动汽车的优点，其通过调节发动机和电机之间的能源分配，来保证发动机工作在高效率低能耗的区域[1]，目前在混合动力汽车能量管理策略上的研究已经成熟发展，早期主要采用基于规则的策略，如张冰战[2]等设计了一种双层次的规则控制策略，后来广泛采用基于优化控制理论的策略，如解少博[3]等提出了一种基于DP-ECMS的插电式混合动力城市客车能量管理策略。

近年来一些学者和研究人员对基于学习的能量管理方法展开了研究，其中RL方法是一种普遍且有效的具有实时应用的潜力的技术。RL方法在HEV能量管理中，可以分为两类，一是单一算法，例如LIU T[4]等人提出基于Q-learning算法的混合动力车辆能量管理策略。二是混合算法，其他算法与RL相结合，如隗寒冰[5]等利用深度学习与RL结合，提出基于深度RL的混合动力汽车多目标优化控制策略。这些其他的算法与信息被集成到RL的框架中，可以实现更高效和实时的控制。

本文首先描述HEV能量管理问题，然后总结了RL在HEV能量管理上的不同应用，比较了它们的关键性能指标，最后对于RL在能量管理系统的研究前景进行了展望。

1 HEV能量管理系统问题描述

HEV能量管理系统的核心问题通常被描述为一个具有期望控制目标和特定物理约束的最优控制问题[6]。其控制目标可以包括一种或多种选择，如排气温度、排放、燃油消耗、电池荷电状态等。……