熊 雄，井天军，孙 可，王 坤

(1. 中国电力科学研究院，北京 100192；2. 中国农业大学 信息与电气工程学院，北京 100083；3. 国网浙江省电力公司，浙江 杭州 310000；4. 国网浙江省电力公司经济技术研究院，浙江 杭州 310008)

0 引言

微电网技术的成熟发展是使配电网负荷就地平衡、改善供电可靠性、提高可再生能源利用率而实施主动管理与控制的有效手段[1-5]，但受单个微电网容量的限制，当一定渗透率分布式电源(DG)超出微电网的消纳能力和控制边界后，关于配电网如何开展区域主动消纳的方法还有待研究。在同个区域配电网内，由于各微电网内的风光资源在时空尺度上存在互补，因此相邻微电网以微电网群的形式并网运行，接受和执行群级调度和协调控制指令完成共同优化目标时，相比于对单个微电网进行优化控制，其将获得更优的运行目标，或是达到同样目标时群内微电网仅需配置较小容量的储能，甚至少数微电网无需配置储能[6]。

从微电网群的角度，一些文献将微电网群中央自治能量管理控制CAMC(Central Autonomous Mana-gement Controller)看成是配电网能量管理系统DMS(Distribution Management System)的一部分，由上级到下级形成了DMS、CAMC、微电网中央控制器MGCC(MicroGrid Central Controller)的三层调度[7]。有些文献省略CAMC，直接由DMS和MGCC组成两层能量管理，由DMS直接协调各微电网间的能量互济以达到配电网优化运行的目的[8]。从配电网角度出发，DMS被认为是发展智能电网最关键的要素之一。随着DG在配电网中渗透率及可控负荷的增加，更多的数据需被测量，以及更多的设备需被控制，导致信息分析和优化决策过程变得更加繁琐复杂。为了有效地降低配电系统的复杂程度，文献[9]提出将一个复杂智能配电网分解为多个简单的群集(cluster)或微电网，此时智能DMS可看作分散控制结构下许多耦合微电网间的优化协调控制。文献[10]提出了一种将DG优化整合集群控制的方法，以维持与主网的有功功率在合理的水平，并减少流向主网的无功功率，虽对与主网的交换功率进行了有效的控制，但未对其进行优化。文献[11]研究了多微电网系统中微电网电压及频率的协调控制，提出了基于动作地域和时间长短的三层控制方法，以维持母线电压在波动范围内并减少有功损耗，但未考虑微电网在群控层面的状态运行管理。国内学者则在国家863项目“微电网群高效可靠运行关键技术及示范”的开展下相继对微电网群展开了研究。文献[12]比较了微电网群分级控制、主从控制、多代理控制和对等控制策略的优缺点，并对微电网群的未来发展及研究关键技术提出了建设性的方案。

与单个微电网优化控制不同，微电网群的优化控制面向不同的参与主体，各微电网有自主参与优化控制以及分享自身信息的决定权，因此微电网群除了和MGCC一样直接下达优化指令之外，更多的是应该靠类似电价激励的方式间接地下达优化指令。因此，微电网群优化控制的难点在于各微电网如何仅根据本地观测的部分包含整个系统当前状态的信息做出优化决策以达到群级的最优。本文将基于分散结构下部分可观测马尔科夫决策过程(DEC-POMDP)对微电网群并网运行下的功率优化进行数学建模。以微电网群的运行维护成本和通过峰谷电价机制的获利额作为优化目标，为了避免多项式复杂程度非确定性NPC(Non-deterministic Polynomial-Complete)问题，采用了拉格朗日-对偶原理将原目标函数分层为max-min的形式，并通过拉格朗日乘子对其进行解耦以降低求解难度，在求解算法中为了提高算法精度及性能，采用了一种基于Bloch球面坐标编码的量子遗传算法GA(Genetic Algorithm)。

1 基于DEC-POMDP的微电网群优化描述

对于微电网群而言，各微电网之间通常并不一定依赖良好的通信达到信息的完全共享，微电网之间并不清楚相互之间所观测的信息。因此，相较于单一微电网或集中式控制信息完全共享的微电网群合作优化问题，这种信息的不一致将增加决策的困难。DEC-POMDP正是在马尔科夫决策过程MDP(Markov Decision Process)的基础上扩展的一种多智能体通过分布式计算而合作达到共同目标的优化模型[13]。

1.1 DEC-POMDP数学模型

一个由3个微电网组成的微电网群DEC-POMDP模型可用式(1)所示形式描述。

〈S，A1，A2，A3，Tt，Ω1，Ω2，Ω3，O，R〉

(1)

其中，S为一个微电网群的有限状态集合；A1、A2、A3分别为微电网1、2、3的有限行动集合，A={A1，A2，A3}为微电网群的联合行动集合，那么a={a1，a2，a3}为微电网群的联合行动；Tt为状态转移函数，用T(s，a，s′)表示为状态s采取行动a到状态s′的转移概率分布；Ω1、Ω2、Ω3分别为微电网1、2、3的有限观测集合；O(s，a，s′，o)为状态s采取行动a后转移到状态s′时观测到o的概率；R为回馈方程。结合微电网群，各DEC-POMDP的变量具体如下：S为微电网群中各微电网内储能的荷电状态(SOC)序列；Ai为微电网i内各DG输出功率以及储能充放电功率；Tt为微电网群当前状态s下经行动a后到s′的转移概率分布；Ωi为微电网群当前状态下微电网i所观测到的量；O为微电网群在状态s下采取行动a转移到新状态s′后，各微电网所观测到状态的概率分布；R为微电网群功率优化目标函数。

基于上述定义，微电网群功率优化DEC-POMDP流程图如图1所示。

图1 微电网群功率优化DEC-POMDP流程图Fig.1 DEC-POMDP of multi-microgrid power optimization

如图1所示，将微电网群协调优化过程看作一个DEC-POMDP，在该过程的每一步中，每个微电网通过回馈方程得到回馈值以及从本地观测到的整个微电网群的运行状态，然后各微电网控制器选择各自的策略作为各微电网当前状态到行动的映射，经行动指令，各微电网转换到新的状态1、2、3，组成微电网群新的运行状态。整个过程最终是寻找最优策略序列使得回馈方程在一个时域内达到最优，但各微电网每次策略的选择仅能根据由本地观测到的系统运行状态和每一步回馈方程回馈值进行决策。

1.2 微电网群DEC-POMDP建模

对于单个微电网而言，通过在电力低谷时段从电网购电并在高峰时段向电网输电来获利以降低一定时域长度T内的运行维护成本。为了简化计算，本节仅以光伏和单一电池储能组成的微电网为例，其时域长度T内运行维护成本如式(2)所示。

(2)

(3)

(4)

其中，a(t)为微电网在时域长度T内t时段所采取的行动指令。微电网内功率平衡约束写成电量形式的等式约束，如式(5)所示；储能电量平衡约束、储能SOC约束、最大充放电功率约束如式(6)所示。

QG(t)+QPV(t)+QWIND(t)+QBAT(t)=QLOAD(t)

(5)

(6)

令：

CoQBAT(t)+CmWΔt

(7)

(8)

其中，n为微电网群中微电网的个数。微电网群在t时段的功率平衡等式约束如式(9)所示。

(9)

2 基于拉格朗日-对偶原理及量子编码GA的求解过程

DEC-POMDP作为MDP模型的扩展被证明具有双指数的时间复杂度，即使只包含2个智能体的DEC-POMDP也是一个NPC问题。目前针对DEC-POMDP问题的最优或近似最优的求解算法还处在理论研究阶段，仅能处理规模较小的试验问题，如基于后向动态规划DP(Dynamic Programming)算法、基于前向搜索的多代理A*MAA*(Multi-Agent A*)算法等。首先利用拉格朗日-对偶原理将目标函数式(8)及等式约束式(9)简化为两层max-min的优化形式，并通过拉格朗日乘子将两层优化进行解耦，最后基于一种Bloch球面坐标编码的量子GA进行寻优求解。

2.1 基于拉格朗日-对偶原理的优化目标分层解耦

在式(9)所示等式约束中，风电出力PWIND.i(t)、光伏出力PPV.i(t)及负荷需求PLOAD.i(t)具有随机性，将三者移至等号右边，如式(10)所示。

(10)

令：

(11)

当c≥0时，将其看作不等式约束并结合式(4)写成拉格朗日函数，如式(12)所示。

(12)

其中，μ(t)≥0为拉格朗日系数；an为微电网n的行动指令。式(12)表示微电网n在整个时域长度T内通过执行最优行动指令获得的最优目标值，可看作低一级各微电网的优化。外层优化函数如式(13)所示。

(13)

当c>0时，由式(10)、(11)可知b=c>0，此时J将趋近于负无穷大，原目标函数由求取正的最小值转换为求取负的最大值，因此高一级目标函数如式(14)所示。

(14)

通过式(12)、(14)，将优化式(8)分成了max-min形式的两层优化。而当c≤0时，式(12)将趋于负无穷大，应求其最大值，则式(12)从minLn变为maxLn，同理式(14)从maxJ变为minJ，式(8)转化为min-max，根据对偶原理再将min-max转化为max-min。因此无论不等式约束c≥0或是c≤0，最终都可将原优化函数转换为max-min的两层优化。在高一级优化中若求得最优拉格朗日系数μ*(t)，可获得低一级优化的解决方案，可认为μ*(t)包含了整个微电网群的最优状态信息，由于b中负荷及光伏具有随机性，因此μ*(t)将跟随负荷及光伏的变化而变化。将其作为观测量发布到各微电网内，各微电网根据该观测信息再进行自主优化，自主优化过程可看作是一个MDP，通过一些常规优化算法便能求得最优目标函数及最优策略，因此该过程实际上将集中控制结构下的优化转为了分散控制结构的优化，通过拉格朗日系数将两层优化进行了解耦。

2.2 基于Bloch球面坐标编码的量子GA

根据上述推理分析，将式(8)转化为max-min两层优化，并通过μ*(t)对其进行解耦，将集中优化控制转为分散优化控制结构，求解流程如图2所示。

图2 max-min分层解耦求解流程图Fig.2 Flowchart of max-min hierarchical decoupling solution

图2中，群级控制器根据预测得到的下一时刻的发载数据及当前各微电网的运行状态，依据梯度信息对式(14)求解得到μ*(t)，将其作为各微电网的观测变量发布到各微电网的控制器中。微电网控制器根据μ*(t)所包含的能代表整个系统优化状态的部分信息结合实际发载信息进行自主优化决策，即各自对式(12)进行求解，得到最优解[QG1opt(t)，QG2opt(t)，QG3opt(t)]，然后各微电网将更新后的运行状态上传到群控制器，群级控制器根据下一时刻预测数据对式(14)求解得到μ*(t+1)，进而得到最优解[QG1opt(t+1)，QG2opt(t+1)，QG3opt(t+1)]，直到循环结束。

传统的优化算法大多是根据梯度信息寻优，而针对无梯度信息的问题较难处理。GA是一种概率型的智能算法，能较好地解决这一难题，目前已经成熟地应用于各个领域。但是传统的GA采用二进制或格雷码编码造成基因状态单一，出现早熟、陷入局部最优等问题。本文将采用一种基于量子位Bloch球面坐标编码方式[14]以克服传统编码的缺点。首先建立由[QG1，QG2，QG3]可能性解组成的种群M，种群中每个个体都包含一组[QG1，QG2，QG3]，如式(15)所示。

X=[QG1，QG2，QG3]

(15)

通过对个体归一化处理将其取值映射到Bloch球面上并用球坐标表示，如图3所示(图中QG1为第i个个体中的第一个变量)，每一染色体可由参量θi、φi表示，如式(16)所示。图中θ1、φ1为第一个变量的2个参量。

(16)

图3 量子编码的Bloch球面Fig.3 Bloch spherical surface of quantum coding

通过改变参量值来改变变量在单位球上的点，并经过反归一化处理对应变量的值。将量子位的3个Bloch球面坐标都视为基因位，则每条染色体拥有3条基因链，增加了个体的多样性。将参量θi、φi引入GA进行优化，通过量子旋转门与量子非门完成种群的选择、交叉和变异的遗传操作，以实现GA的核心思想[15]。并针对可能出现的局部最优情况引入灾变思想，当最优个体出现停滞情况时，增加量子非门操作，跳出局部最优。

另外，GA的参数中交叉概率和变异概率的选择是影响GA行为和性能的关键所在，直接影响算法的收敛性，交叉概率越大，新个体产生的速度越快，然而交叉概率过大时遗传模式被破坏的可能性越大，使得具有高适应度的个体结构容易遭到破坏；但如果交叉概率过小，会使搜索过程缓慢，以致停止不前。因此，采用交叉概率随适应度自动改变的自适应算法，改进后的交叉概率Pc如式(17)所示。

(17)

其中，fmax、favg、f分别为种群中最大适应度值、平均适应度值、两交叉个体中较大的适应度值；k1、k2为两常数。基于Bloch球面坐标编码的自适应GA基本流程如下。

a. 初始化种群并随机产生个体参量θi、φi集合，设置最大迭代次数，并对个体进行归一化处理。

b. 对个体进行适应度评估并记录最优个体适应度值及对应的参量θi、φi。

c. 根据式(17)确定交叉概率，通过量子旋转门与量子非门完成种群选择、交叉及变异的遗传过程，产生新一代的种群。

d. 记录最优个体适应度及对应的参量θi、φi，判断当前最优个体与之前几代的最优个体是否一致，若不一致，则继续迭代直至最大迭代次数；若一致，则进行灾变处理以增加种群的变异率。

3 算例仿真计算

仿真算例如图4所示，算例包含3个微电网，各微电网并联，3个微电网通过一个群公共耦合点(PCC)接入配电网。当PCC1、PCC2、PCC3均闭合时，3个微电网并列运行；断开则孤岛运行。微电网群除了这种拓扑，还有各微电网串联以及通过多个PCC0并联到配电网等结构，本文针对微电网群在配电网中的拓扑结构以及接入等级不再展开详述，仅以该结构进行研究，验证所提优化控制策略。

图4 微电网群结构与容量配置Fig.4 Structure and capacity configuration of multi-microgrid

图5 各微电网实际负荷Fig.5 Actual load of each microgrid

图6 各微电网实际光伏输出功率Fig.6 Actual output powet of photovoltaic in each microgrid

图7 各微电网实际风电输出功率Fig.7 Actual wind output power of each microgrid

图8 分时电价Fig.8 Time-of-use electricity price

各微电网相互协调和无协调下储能充放电功率如图9所示，图中Pb1a、Pb2a、Pb3a和Pb1b、Pb2b、Pb3b分别为微电网间相互协调和无协调下微电网1、2、3内储能充放电功率，为正表示放电功率，为负表示充电功率。各微电网与配电网交换功率之和如图10所示，图中Pexc-a、Pexc-b分别为微电网间相互协调和无协调下的交换功率之和，为正表示微电网向配电网馈送功率，为负表示配电网向微电网输送功率。

图9 各微电网储能充放电功率Fig.9 Charging/discharging power of energy storage in each microgrid

图10 各微电网与配电网交换功率之和Fig.10 Sum of exchanging power between each microgrid and distribution system

图9中，在谷一时段，经协调互济后微电网1、微电网3中储能放电功率略微增加，馈入微电网2，导致该时段各微电网从配电网馈入的总功率减少，如图10所示；在平一时段，微电网1、3中储能增加了充电功率，使得在峰一时段能够有更多的功率馈送到配电网以获取利润，对应于图10中减小了平一时段馈送到配电网的功率，让储能充电，而在峰一时段更多的功率馈送到配电网；同样在平二、峰二、平三时段，即微电网群整体供不应求的时段内，通过微电网间储能剩余容量的共享，使配电网馈送给各微电网的功率之和有所减小。若将微电网群看作一个等值负荷，由图10可知，通过各微电网间协调互济有效地减小了等值负荷的峰谷差，对系统提供了一定的支撑。在整个协调互济过程中，微电网2中由于储能配置较小且网内不平衡功率较大，因此无法分享自身容量，其充放电功率基本保持不变。

微电网间相互协调和无协调下2种方案下的一些量化结果如表1所示，表中方案A、B分别对应各微电网间相互协调优化和无协调优化方案。

表1 2种方案下的量化结果Table 1 Quantitative results of two schemes

由表1可知，协调优化后的微电网群在电价的激励下，减小了等效运行维护费用，储能平均存储水平提高，表明各微电网的储能分享了各自的剩余容量，因此增加了向配电网馈送的电量及减少了从配电网馈入的电量，从而在一定程度上减小了峰谷差值。

基于Bloch球面坐标编码的量子GA与常规GA寻优精度及收敛速度的比较如图11所示。

图11 量子编码与常规编码寻优结果对比Fig.11 Comparision of optimization results between quantum coding and normal coding

由寻优结果比较可明显看出量子编码的GA在寻优精度及收敛速度均优于常规编码GA，这是因为基于Bloch球面坐标的编码方式下，每条染色体所包含信息比常规二进制编码下染色体所携带的信息要丰富，因此在同等规模种群，量子编码的种群整体多样性丰富于二进制编码GA，在相同迭代次数内，量子编码算法更易获得最优解。

5 结论

本文基于DEC-POMDP建立了主动配电网基于多微电网的功率优化模型，以微电群运行维护成本和通过峰谷电价机制获利额作为优化目标，为避免NPC问题，本文采用了拉格朗日-对偶原理对原目标函数分层为max-min的形式，并通过拉格朗日乘子对其解耦以降低求解难度，在求解算法中为提高算法精度及性能，采用了一种基于Bloch球面坐标编码的量子GA。最后通过算例分析，微电网群通过优化协调互济可有效降低系统运行维护成本，且缩小峰谷差，对电力系统提供一定的支撑作用。需要指出，本文仅以运行维护费用和峰谷价差为目标函数，还可以需求侧响应、供电可靠性等目的建立响应优化模型对微电网群进行优化协调控制，利用DEC-POMDP和本文提出的化简算法进行求解。

参考文献：

[1] KUMAR Y V P，BHIMASINGU R. Renewable energy based microgrid system sizing and energy management for green buildings[J]. Journal of Modern Power Systems & Clean Energy，2015，3(1):1-13.

[2] HATZIARGY N，ASAND H，IRAVANI R，et al. Microgrids[J]. IEEE Power and Energy Magazine，2007，5(4):78-94.

[3] LI Yunwei，NEJABATKHAH F. Overview of control，integration and energy management of microgrids[J]. Journal of Modern Power System and Clean Energy，2014，2(3)：212-222.

[4] 丁明，解蛟龙，潘浩，等. 微电网经济运行中的典型时序场景分析方法[J]. 电力自动化设备，2017，37(4):11-16.

DING Ming，XIE Jiaolong，PAN Hao，et al. Typical sequential scenario analysis method for economic operation of microgrid[J]. Electric Power Automation Equipment，2017，37(4):11-16.

[5] 李鹏，窦鹏冲，李雨薇，等. 微电网技术在主动配电网的应用[J]. 电力自动化设备，2015，35(4):8-16.

LI Peng，DOU Pengchong，LI Yuwei，et al. Application of microgrid technology in active distribution network[J]. Electric Power Automation Equipment，2015，35(4):8-16.

[6] 熊雄，王江波，杨仁刚，等. 微电网群功率优化控制[J]. 电力自动化设备，2017，37(9):10-17.

XIONG Xiong，WANG Jiangbo，YANG Rengang，et al. Power optimization control of microgrid cluster[J]. Electric Power Automation Equipment，2017，37(9):10-17.

[7] ZHANG Y，GATSIS N，GIANNAKIS G B. Robust energy management for microgrids with high-penetration renewables[J]. IEEE Transactions on Sustainable Energy，2013，4(4):944-953.

[8] FARZIN H，FOTUHI-FIRUZABAD M，MOEINI-AGHTAIE M. Developing a hierarchical scheme for outage management in multi-microgrids[C]∥2015 IEEE Eindhoven PowerTech. Eindhoven，Nether-lands：IEEE，2015:1-6.

[9] LASSETER R H. Smart distribution：coupled microgrids[J]. Proceedings of the IEEE，2011，99(6):1074-1082.

[10] MAKNOUNINEJAD A，QU Z，ENSLIN J，et al. Clustering and cooperative control of distributed generators for maintaining microgrid unified voltage profile and complex power control[C]∥Trans-mission and Distribution Conference and Exposition. Orlando，FL，USA：IEEE，2012:1-8.

[11] MADUREIRA A G，PECAS LOPES J A. Coordinated voltage support in distribution networks with distributed generation and microgrids[J]. IET Renewable Power Generation，2009，3(4)：439-454.

[12] 支娜，肖曦，田培根，等. 微网群控制技术研究现状与展望[J]. 电力自动化设备，2016，36(4):107-115.

ZHI Na，XIAO Xi，TIAN Peigen，et al. Research and prospect of multi-microgrid control strategies[J]. Electric Power Automation Equipment，2016，36(4):107-115.

[13] BERNSTEIN D S，GIVAN R，IMMERMAN N，et al. The complexity of decentralized control of Markov decision processes[J]. Mathematics of Operations Research，2002，27(4)：819-840.

[14] 杨俊安，庄镇泉. 量子遗传算法研究现状[J]. 计算机科学，2003，30(11):13-15.

YANG Junan，ZHUANG Zhenquan. Actuality of research on quan-tum genetic algorithm[J]. Computer Science，2003，30(11)：13-15.

[15] 张京钏，江涛. 改进的自适应遗传算法[J]. 计算机工程与应用，2010，48(11):53-55.

ZHANG Jingchuan，JIANG Tao. Improved adaptive genetic algo-rithm[J]. Computer Engineering and Applications，2010，48(11)：53-55.