陈泽宇 方志远 杨瑞鑫 于全庆,3 康铭鑫

基于深度强化学习的混合动力汽车能量管理策略

陈泽宇1,2方志远1杨瑞鑫2于全庆2,3康铭鑫1

（1. 东北大学机械工程与自动化学院 沈阳 110819 2. 北京理工大学机械与车辆学院 北京 100081 3. 哈尔滨工业大学（威海）汽车工程学院 威海 264209）

针对混合动力汽车能量管理策略在线运行时对工况适应性差的问题，提出一种具有深度强化学习能力的能量管理策略设计方法。该方法基于深度确定性策略梯度算法来确定发动机功率最佳变化率，进而建立车载能源功率分配策略。所建立的控制策略包含离线交互学习与在线更新学习双层逻辑框架，根据车辆运行特性对控制参数进行动态更新，以提高在线运行时车辆的节能效果。为了验证所提出的控制策略，以沈阳实车测试数据对算法有效性进行分析，并与粒子群优化算法的控制效果进行对比。结果表明，所提出的深度强化学习能量管理策略可以实现优于粒子群优化策略的节能效果，尤其当车辆行驶特性发生突然变化时，深度强化学习控制策略具备更强的适应性。

混合动力汽车 电源系统 能量管理策略 深度强化学习 机器学习

0 引言

混合动力汽车兼具纯电动车的清洁性与燃油汽车的动力性特点，在当前新能源汽车的产业化发展中占据重要地位[1-6]。能量管理策略（Energy Management Strategy, EMS）直接影响车辆的动力性与经济性，是混合动力汽车的关键技术之一。因此设计合理有效的EMS对于提高混合动力汽车的性能至关重要。……