张子霖

(中国科学技术大学 自动化系，安徽 合肥 230026)

0 引言

电动汽车作为一种新型的分布式移动资源，已成为智能电网发展的重要组成部分[1]，越来越多的研究人员开始关注电动汽车在电网中的社会价值。但电动汽车的日益普及也不可避免地给用户和电网带来了一系列的问题和挑战。 例如，大量电动汽车的不协调充电，将导致电网承受不可预测的负荷。 因此，如何设计多辆电动汽车在整个工作过程中的协调充电策略，以降低能源成本，保证用户对电动汽车荷电状态的满意度，并将对配电网的影响降到最低，是亟需解决的问题。

近年来，为了解决电动汽车的协调充电问题，出现了许多分布式调度方法。 例如，为了最大限度地提高电动汽车用户的便利性，开发了一种分散的基于交替方向乘法器的优化算法[2]。 为使电动汽车充电成本最小化，使用电动汽车充电概率模型建立了一个严格凸分散系统形式的多人博弈[3]。 但上述研究只关注了单一的目标，这在实际应用中往往是受限制的。 针对多目标的协调充电问题，通过多智能体自私协同优化的方案，除了实现用户利益以外，也保证避免变压器过载[4]，但它没有充分考虑状态空间泛化和值函数逼近的影响， 导致拟合性能较差，计算开销也不理想。 针对该问题，文献[5]考虑采用基于机器学习的方法，其以收敛速度快、计算效率高而被广泛应用于大规模数据的高维问题中。

事实上，基于强化学习的数据驱动方法作为机器学习的一个重要分支，已经广泛应用于能源领域，特别是电动汽车充电问题[6-8]。……