江明， 许庆强， 季振亚

(1. 国网江苏省电力有限公司，江苏 南京 210024；2. 南京师范大学电气与自动化工程学院，江苏 南京 210046)

0 引言

近年来，电动汽车数量持续增加，对充电负荷进行有序调控将有助于缓解电动汽车给电网带来的峰谷差加剧、变压器过载等问题[1]。通过有序调控，大量充电负荷能以需求侧资源的形式直接或间接地参与电网调度体系[2]。为此，国内外学者提出了多种电动汽车充电调控结构，其中，充电站因其聚合控制的优势，能极大地降低网侧调度机构对大量电动汽车单体的关注，将成为充电调控的重要实施主体[3—4]。

充电站有序充电的研究主要包括建模预测和求解算法[5]，预测以统计模型为主，如确定概率分布[6]、随机分布[7]、出行链模拟[8—9]等；算法则需综合车辆数量、抽样等对求解精度和速度的影响，包括拉格朗日松弛[10]、粒子群优化[11]、思维进化算法[12]等。但在实际情况下，充电需求参数的随机性强，耦合复杂[13]，而充电站的充电设施数量有限，统计特征互补性差，模型驱动的有序充电方法面临性能瓶颈。

随着充电站运营，充电数据持续积累，数据驱动方法具有无需先验建模、适应复杂数据关系的优势，这为充电站的有序调控提供了新思路，其中，无模型强化学习(model-free reinforcement learning，MFRL)框架正日益受到重视。文献[14]提出利用MFRL分析电价，获得经济性最优的充电策略；文献[15—16]以Q-learning算法调控充电站总功率；文献[17]提出一种基于蒙特卡洛学习(Monte Carlo learning，MCL)算法的充电站负荷充电预测算法；文献[18]以MFRL框架适应充电负荷的不确定性。……