谢黎龙， 李勇汇*， 肖金星， 徐冰雁， 叶影， 杨军

(1.武汉大学电气与自动化学院， 武汉 430072； 2.国网上海市电力公司， 上海 200122)

为了环境保护与社会可持续发展的需要，新能源在电力领域的应用也越来越多，由于分布式电源出力存在随机性与不确定性进而难以有效利用，微网作为一种解决方式而被提出，研究合适的微网系统控制技术是微网发展的关键[1-2]。

目前已经有大量微电网控制技术的研究，文献[3]采用恒压恒频控制策略，设计比例积分(proportional integral，PI)控制器对光储孤立微电网中储能系统恒压恒频控制,实现光伏与储能的协调。文献[4]采用模型预测控制对输出功率进行控制，间接控制电压，使电压维持稳定,但是间接控制增加了成本。文献[5]提出利用鲁棒模型预测方法解决多系统耦合的控制问题，在状态空间矩阵中考虑耦合环节，并应用于火电水电的耦合系统调频中。随着人工智能飞速发展，控制技术也在不断发展换代[6]。文献[7]为了电网安全，提出了一种基于深度强化学习的电网切机控制策略。文献[8]采用强化学习中R(λ)算法对包含多种分布式电源的孤岛微电网进行频率控制，实现了小水电与燃气轮机的协调控制，但是由于要离散连续量可能会出现维数灾难。文献[9]针对多分布式电源采取下垂控制的孤立微网，采用经典Q学习算法对微电网分布式电源的下垂系数加以改进进而实现无差调频，但是分布式电源下垂控制不能提供系统需要的阻尼与惯性。近年来对虚拟同步发电机的研究也逐渐增加。文献[10]介绍了虚拟同步发电机(virtual synchronous generator,VSG)的基本原理、数学模型、控制算法与应用场景等方面。文献[11]将线性自抗扰控制与重复控制相结合构成电压外环，取代传统的电压电流环，提高了跟踪精度但是设计较为复杂。文献[12]设计了储能系统的运行控制策略，实现对风光发电输出功率的平抑，但是对系统频率与电压为有差调节。文献[13]引入了比例-积分(PI)控制环节实现了频率的无差调节，模仿转子运动方程为频率控制策略增加了一阶惯性环节，提高了微电网的频率稳定性,但是所选PI控制器鲁棒性能较差，负荷突变时频率会出现较大波动。文献[14]取额定角频率为参考值，通过引入虚拟调速器与转子运动方程相结合设计自动发电控制系统来实现频率控制，但是没有搭建直流侧的微源模型，而以理想直流电压源代替。上述文献研究主要集中在储能控制策略上，很少涉及储能逆变器控制器的改进与内部结构的设计。面对高比例分布式电源接入的微电网，应进一步改进储能逆变器的内部控制结构以提升储能系统面向微电网复杂运行环境的支撑能力。

因此，现建立基于VSG控制的电池储能为主电源的微网模型，基于深度强化学习技术中的深度确定策略梯度算法(deep deterministic policy gradient，DDPG)对VSG的虚拟调速器进行改进。该算法可以在没有确切模型的情况下通过在线学习不断训练生成控制器，适用于当今新能源比例增加、复杂性不断升高的电网。该算法将神经网络与传统强化学习结合，采用经验回放机制与梯度反向传播的方式更新神经网络参数使其收敛[15-16]，可以很好地解决频率与功率等连续量连续变化的问题，结合奖励函数多次训练生成调速器实现对虚拟同步发电机的改进。同时在MATLAB/Simulink中进行仿真，验证负荷扰动与风电扰动时，所提出的改进虚拟同步发电机方法对频率稳定与电压稳定控制的有效性。

1 微网组成

DC为直流电；AC为交流电图1 微网组成Fig.1 Microgrid composition

采用由电池储能系统、风电系统和负荷组成的微网(图1)，公共耦合点(point of common coupling，PCC)通过开关与外界电网连接。开关闭合时，微网可以与外界电网进行能量的交换，此时可以对储能系统进行充电，当开关断开时，微网处于孤岛运行状态，储能系统作为主电源维持微网母线电压与频率的稳定。

为了最大化地利用清洁能源，风电系统中风机发电采用最大功率点跟踪控制(maximum power point tracking，MPPT)控制，并网逆变器采用恒功率控制，风电系统以传统电流源的形式并入微网，不参与系统的调频与调压，可等效为消耗负功率的负荷[17]。

作为微网主电源的储能系统采用VSG控制。储能侧功率交换电路采用的是双向半桥式非隔离型 DC-DC 变换器[18]以实现能量的双向流动。为使该变换电路具有良好的功率流动性能，采用电流内环电压外环的双闭环控制方法。

储能技术中蓄电池技术比较成熟，锂离子电池相较于铅酸蓄电池具有能量密度高、体积较小的优点。锂电池寿命比铅酸电池要长，有着更高的工作效率，故选择锂电池作为储能系统的电源，采用蓄电池通用模型，等效电路为如图2所示。

图2 蓄电池通用模型等效电路Fig.2 Equivalent circuit of battery general model

蓄电池通用模型由内阻R与受控电压源Ee串联组成，UB为蓄电池的端电压，IB为蓄电池的放电电流。Ee计算公式为

(1)

式(1)中：Ee0为内电势；Cmax为蓄电池的最大容量；Qe为放电量；A、B、K均为拟合参数；exp(·)为以自然常数为底的指数函数。

电源的输出功率PB计算公式为

PB=UBIB

(2)

电池放电时电流IB为正，电源输出功率，充电时电流IB为负，电源吸收功率。

2 虚拟同步发电机控制结构

VSG控制可以提供对维持电网稳定十分重要的阻尼特性和转动惯性，目前VSG控制主要由电压控制与电流控制两种，由于需要给微网提供电压支撑，故采用外特性相当于电压源的电压控制型虚拟同步发电机，建立VSG控制结构如图3所示。

Vdc为直流侧电压；Lf、Cf分别为滤波电感、滤波电容；iL为滤波电感的电流；iC为滤波电容的电流；Rf为Lf的寄生电阻；ea、eb、ec为逆变器基波电动势,幅值为E；uo、io为输出端电压电流；Pout、Qout分别为有功功率和无功功率瞬时测量值；Qset、Pset分别为给定的无功功率和有功功率；Qref、Pref分别为无功功率和有功功率计算得到的参考值； fg为测量得到的频率；UPCC为测量的电压幅值瞬时值； fN、UPCCref 分别为额定频率与给定电压参考值；Em为计算得到的调制信号幅值图3 VSG控制结构Fig.3 VSG control structure

2.1 自动发电控制

2.1.1 虚拟调速器

为实现电池储能系统为主电源的自动发电控制，需要在自动发电控制器中加入虚拟调速器，根据实际测得频率与频率参考值作差得到的频率偏差，由此生成有功功率补偿指令ΔPm。由于风电系统不参与调频调压，由电池储能系统对微网进行支撑，则在下垂系数乘法器上增加控制器，实现微网系统的功率平衡，即

ΔPm=ΔPload-ΔPwind

(3)

式(3)中：ΔPload为负荷有功功率变化；ΔPwind为风电出力波动。

自动发电控制结构图如图4所示。

Km表示频率-有功下垂系数，下垂系数乘法器模拟一次调频，控制器完成二次调频[18]，最后得到应该输出的有功功率补偿指令ΔPm。

2.1.2 转子运动方程

选取额定角速度作为参考值，则转子运动方程[19]为

(4)

式(4)中：J为转子轴上共同的转动惯量；Tm为机械转矩；Te为电磁转矩；Td为阻尼转矩；D为阻尼系数；ωN为额定角频率。

取VSG的极对数为1，由功率与转矩关系[19]Tm≈Pmref/ωr，Te≈Pout/ωr,式(4)可变为

(5)

转子运动方程模块框图如图5所示。

图4 虚拟调速器框图Fig.4 Block diagram of virtual governor

s为拉普拉斯算子图5 转子运动方程框图Fig.5 Block diagram of rotor motion equation

2.2 自动电压控制

与自动发电控制类似，根据实际测得电压与电压参考值作差得到的电压偏差，通过PI控制模块生成无功功率补偿指令ΔQ，进而得到无功功率参考值Qref。根据无功功率参考值Qref与无功功率实测值Qref计算得到信号Em，计算方法为

(6)

3 算法简介

3.1 强化学习技术

强化学习技术作为机器学习方法的一种，通过与环境不断的交互来获取经验，通过不断的实验进行学习试错，由此强化学习可分为智能体与环境两部分，它们的关系可如图6所示。

图6 强化学习基本框图Fig.6 Basic block diagram of reinforcement learning

深度强化学习通常是基于马尔可夫决策过程的(Markov decision process, MDP)，即智能体与环境在下一时刻的交互结果只与当前的环境状态有关，而与之前的环境状态无关。MDP过程包含s、a、r、π4个要素[12]。其中s表示环境状态的集合,a表示智能体可以采取的动作的集合，r表示奖励函数，π表示策略集合，由状态生成对应的动作。

强化学习策略的求解算法主要为基于值函数算法与基于策略梯度算法与二者结合的Actor-critic算法。

3.2 深度确定策略梯度算法

对于连续动作空间的问题，深度确定策略梯度算法(deep determination strategy gradient algorithm, DDPG)可以获得很好的决策效果。DDPG算法一共有4个网络，分别是Actor当前网络，Actor目标网络，Critic当前网络，Critic目标网络。两个Actor网络的结构相同，2个Critic网络的结构相同。在t时刻，Actor当前网络参数为θ、Actor目标网络参数为θ′、Critic当前网络参数为ω、Critic目标网络参数为ω′。

DDPG 4个网络中, Actor当前网络根据当前状态st生成动作at；Actor目标网络根据环境给出的后续状态st+1生成t+1时刻动作at+1；Critic当前网络计算状态st和动作at对应的动作价值；Critic目标网络根据后续状态st+1与行为at+1生成用来计算目标价值中Q′(st+1,at+1|ω′)的部分。其中目标价值y由式(7)计算：

y=rt+γQ′(st+1,at+1,ω′)

(7)

式(7)中：rt为t时刻的回报值；γ为折扣因子且0<γ<1；Q′(st+1,at+1|ω′)为t+1时刻Critic目标网络的输出值。

使用均方差损失函数式(8)，通过神经网络的梯度反向传播来更新Critic当前网络参数ω。

(8)

式(8)中：m为样本数目；yj为j样本的目标价值；Q(sj,aj,ω)为Critic当前网络关于j样本的输出值。

通过神经网络的梯度反向传播来更新Actor当前网络的所有参数θ:

(9)

式(9)中：πθ(·)为Actor当前网络的输出值。

通过式(10)更新Critic目标网络和Actor目标网络参数:

(10)

式(10)中:τ为更新系数，一般取值较小。

4 虚拟同步发电机的改进

对于图4中控制器选择，面对高比例分布式电源接入的复杂电网，传统PI控制器存在着参数较难选择，鲁棒性不高的问题，逆变器的内部控制结构需要进一步进行改进,相较于传统PI控制器，深度强化学习可以在没有确切模型的情况下通过在线学习不断训练生成控制器，适用于当今新能源比例增加、复杂性不断升高的电网，DDPG算法采用经验回放机制与梯度反向传播的方式更新神经网络参数使其收敛，可以很好地解决频率与功率等连续量连续变化的问题。采用深度强化学习设计的控制器代替图4中虚线框的部分，对虚拟调速器加以改进，训练生成的调速器通过频率偏差比传统控制器可以更好地得到有功功率补偿。强化学习是基于马尔可夫过程的，该过程由(s,a,r,π)四元组给出，设计控制器时需要确定状态变量与动作变量，并设计奖励函数。

4.1 状态变量与动作变量

(11)

式(11)中：e=fg-fN。式(11)表示外界环境提供给智能体的环境信息。

由于储能系统通过改变功率输出对系统频率进行调节，故动作变量为储能系统输出功率补偿ΔPbat，即

a=ΔPbat

(12)

为了达到训练效果，考虑到系统中负荷变化等情况，还需要增加频率不确定量p，这样可以保证智能体每次训练的初始状态都不相同，有着更好的适应性。

4.2 奖励函数

智能体要通过奖励函数才能计算得到动作的价值，进而判断动作的好坏，奖励函数的设计一般与控制目标有关，本文研究希望控制器控制下的频率误差尽量的小，为实现这一目标，本文将频率误差分段，每段采用不同的权重系数，故奖励函数设计为

(13)

式(13)中：|e|为频率误差的绝对值；b1、b2、b3、b4、b5分别为频率误差分段点；λ1、λ2、λ3、λ4、λ5、λ6为权重系数,频率偏差越低,智能体获得的奖励越多。|e|分段太多会使训练难以收敛达不到训练效果，分段太少会使训练时间过长，本文中将频率误差分为5段。

在设计奖励函数时，需要设计终止函数，终止函数的作用是智能体通过边界条件判断系统是否进入终止状态，如果进入终止状态，则不再继续迭代，直接重新初始化系统频率，开启新一轮的状态序列。如果进入非终止状态，则继续本轮迭代过程。为了防止电池过度充放电，保护电池，采用锂电池SOC的上下限作为终止函数的边界条件，当电池的SOC到达上下限时，储能系统将不在参与系统的调频。为了减少进入终止状态的次数，配合奖励函数将终止状态的奖励值设置很低。终止函数为

(14)

4.3 神经网络的构成

4.4 算法流程

微网运行数据通过深度学习，将状态信息，奖励、动作信息以及终止状态信息{s,a,r,s′,is_end}形成样本单元存储起来，放入经验回放集合D中，然后从集合D采取m个样本单元，通过式(5)～式(8)进行训练，一共训练T轮，每轮的训练步长为Tm次，训练框图如图7所示。

图7 DDPG算法训练流程Fig.7 DDPG algorithm training process

除了以上参数选取，为了表现对动作的长远收益的重视程度，引入折扣系数γ，折扣系数越大，智能体就越会越重视以往经验，能够放弃当前利益而追求全局利益。但是，如果折扣因子选择过大，也会影响训练的收敛。学习过程中神经网络的学习率α如果太小，那么训练需要很长时间，而如果学习率α太大，那么训练可能会达到次优结果或不能收敛。

5 仿真

5.1 实验设置

MPPT控制的风电系统额定功率为40 kW，仿真时设定输出功率为30 kW，由于风电系统输出具有随机性，故加入随机干扰模拟这一过程，风电功率随机变化如图9所示。

图8 Critic网络拓扑结构Fig.8 Critic network topology

ΔP为风电有功功率变化；T为时间图9 风电功率变化Fig.9 Basic block diagram of reinforcement learning

风电与储能共同承担本地负荷，实现对计划出力的跟踪，根据国家住建部制定的相关标准[20]，储能电池系统的额定功率选择为风电系统额定功率的30%，即12 kW。电池为锂离子电池，采用simulink中通用电池模型，锂电池容量为60 A·h,额定工作电压为200 V，初始荷电状态为50%，最大荷电状态为1，最小荷电状态为10%，储能系统参考输出电压为700 V。

训练轮数T=3 000次，训练步长Tm=100步，折扣系数γ=0.99，更新系数τ=0.001，学习率α=0.001，采样数目m=64, 经验回放集合D=1×106，标准偏差为σ=0.6，衰减率为φ=1×10-5，b1=0.008，b2=0.02，b3=0.05,b4=0.1。权重系数λ1=100,λ2=0,λ3=-30,λ4=-60,λ5=-100,λ6=-300，c1取10%，c2取1。频率不确定量p在[-0.1,0.1]随机变化。多次训练到智能体可以稳定收获正值奖励，则得到虚拟调速器。系统参数与训练过程如表1所示。

表1 仿真参数Table 1 Simulation parameters

5.2 仿真结果

5.2.1 有功功率与频率仿真分析

微网一开始处于并网状态，除了风电功率扰动，有功负荷在0.3 s突增4 kW，0.5 s运行模式由并网变为孤岛运行。图10为该时间段的频率曲线与功率变化曲线。

图10 频率与有功功率Fig.10 Frequency and active power

将下垂控制、使用PI控制器的传统虚拟同步发电机控制以及采用深度强化学习控制器的改进虚拟同步发电机控制的频率控制进行对比。由仿真结果可以看出，负荷突增时，改进的虚拟同步发电机控制频率波动更小，对负荷有功功率的追踪效果更好。外界电网对系统频率的调节使频率有所恢复，风电扰动对频率影响较小。当0.5 s离网时，微网失去电网支撑，下垂控制与传统虚拟同步发电机控制频率都有所降低，改进虚拟同步发电机控制方法频率更加平稳，具有更好的控制效果。

微网进入孤岛运行后，1 s时负荷降低8 kW，2 s时负荷增加7 kW。图11为该时间段的频率曲线与功率曲线。

孤岛运行下，风电干扰的影响增大，下垂控制出现明显频率波动，在负荷阶跃变化干扰与风电随机扰动干扰情况下，改进的虚拟同步发电机控制频率波动更小，控制性能更为优越；同时由有功功率曲线看出所设计的控制器对有功负荷的跟踪也较为良好。

整个过程中，储能直流侧输出电压、电池输出功率与SOC曲线如图12所示。

图11 孤岛运行下频率与有功功率Fig.11 Frequency and active power in islanding operation

Voltage为储能直流侧输出电压图12 储能直流侧输出电压、电池输出功率与SOC曲线Fig.12 Energy storage DC side output voltage, battery output power and SOC curve

图10～图12可以看出，在所提出的控制方法下，电池储能系统作为主电源对微网具有很好的支撑作用，储能系统实现对风电出力的多吸少补，电池的荷电状态因充放电而不断改变。

5.2.2 无功功率与电压仿真分析

与图18为该时间段的负荷电压曲线与无功功率曲线。无功负荷在0.3 s增加2 kVar,1 s降低4 kVar,2 s增加4 kVar。图13为该时间段的负荷电压曲线与无功功率变化曲线。

Voltage为储能直流侧输出电压图13 负荷电压与无功功率变化曲线Fig.13 Load voltage and reactive power curve

由图13可以看出，下垂控制电压为有差调节，传统虚拟同步发电机电压有所降低，而提出的改进虚拟同步发电机对电压的稳定控制效果更好，对无功负荷的跟踪效果也较为良好。

6 结论

采用包含风电、储能与负荷的微网系统。风电系统出力的随机性与负荷的阶跃变化对微网频率电压的稳定造成巨大威胁，本文研究提出虚拟同步发电机技术与深度强化学习技术对电池储能系统进行控制，进而维护微网的稳定。

采用深度强化学习中DDPG算法设计虚拟调速器，通过仿真实验验证了微网并网、离网等场景下，所提出的改进虚拟同步发电机技术对有功功率与无功功率的实时调整作用，对系统电压频率的稳定有着很好的控制效果。而对于具有多个主电源支撑的微网，可以继续开展多主电源协调控制方面的研究。