刘迪迪，程鹏鹏，王小华，李健昌，覃光锋

（1.广西师范大学电子与信息工程学院，广西 桂林 541004；2.广西科技师范学院，广西 来宾 546199）

0 引言

随着分布式发电（特别是屋顶光伏）的蓬勃发展，拥有各种分布式能源的大量小规模终端用户已经从传统的被动消费者转变为主动的产消者［1-2］。产消者指具有自身生产电能的消费者，即既提供电力，又接受电力的特殊用户。在智能电网环境下，它们既可以出售过剩的电力给电网，也可以从电网购电供自己消费，进而实现与外部电网的双向能量交易，以更有效地利用可再生能源［3-4］。但大规模可再生能源并入电网势必给电力系统带来波动，影响电力系统功率平衡［5-6］。为提高智能电网消纳能力、实现电力供需平衡，需求侧管理（DSM）成为电力系统规划的重要组成部分［7-10］，而基于实时电价的需求响应机制是最有效的需求侧管理技术之一［11］。

另一方面，随着智能电表、信息技术和网络技术的发展及应用，供电商和产消者均可通过智能电表借助通信网络（如5G网络）获取实时的电力市场经济信息（如电力需求、实时电价等）［12］，所有产消者均可参与到电力市场提供的平台［13］。这样，产消者则有能力管理他们的能源消费、生产和存储，以参与电力市场和电力系统运营［14-15］。产消者基于时变电价、能量存储等对电力使用进行控制和管理，可有效地减小产消者的电力成本或提高出售电力带来的收益。

近年来已有很多工作对拥有可再生能源发电用户的用电管理问题进行了研究。根据柔性负荷的灵活性，基于电价对负荷进行转移（即改变用电模式）是用户自身用电管理的手段之一。文献［16］考虑分时电价对用户的影响，用户通过调度可转移负荷，避开用电高峰期。文献［17］提出日前电价下的电力调度策略，该策略将用户的即时需求进行转移，可将电网的高峰时段的负荷降至最低，从而减少系统总运行成本。文献［18-19］中作者提出了在智能电网时变电价下具有弹性能量需求和即时能量需求的可再生能源用户的动态电量管理方案，以最小化此类用户的电费成本。但以上研究没有考虑该类用户出售电量给智能电网（即双向交易）的问题。

文献［20-22］考虑了产消者与智能电网之间的双向电力交易问题，采用不同的方法设计产消者的能量管理和双向电力交易方案，以最大化产消者的收益。文献［20］提出一个混合整数线性规划模型来预测电网中的电价和用户需求，建立用户与电网能量交易模型，以最大化消费者和电网的利益。文献［21］运用模糊规划理论，建立日前调度模型，最小化系统总运行成本。文献［22］设计迭代自适应动态规划方法实现对储能设备的最优控制来实现电网端与用户端的智能交互。这些已有的研究从方法上来讲大多数工作基于日前电价、可再生能源发电以及负载需求可以被精准地预测未来的信息，或假设已知这些信息的概率分布，采用线性规划或动态规划的方法进行优化。然而，在实际中，这些系统参数受到各种因素的影响，它们的统计数据可能是非平稳的，有时候很难精确预测这些信息或获取其先验统计知识，此外，基于动态规划的算法随着系统参数的增加复杂度呈指数倍增加，因此已有的研究方案不适用于不确定性环境下电户的电力管理。

目前有不少文献采用无模型的深度强化学习方法研究产消者的能量调度方案［23-24］，该方法虽然不需要系统参数的先验统计知识以及能量动力学模型，但是所提的算法需要事先进行大量的学习训练，一旦产消者行为习惯或所处环境发生变化（比如更换储能设备），则需要重新学习。

此外，这些研究大部分工作主要针对配有储能设备的产消者，但由于目前储能材料昂贵，配备储能设备需要不菲的购买成本和维护成本，实际中大部分家庭型产消者很少配备储能设备。据研究家用电器的日常电力消耗占总电力消耗的百分之十以上，而家用电器智能化程度越来越高，比如热水器、空调、烘干机、洗碗机等，其特点是它们的电力需求允许有一定的延迟，即只要在用户可容忍的期限内满足它们的电力需求，消费者就会满意［25］，这样的负载称为柔性负载。因此有必要开发一种适用于无储能设备、电力需求灵活的家庭型产消者的电力管理方案。

本文主要考虑无储能设备的家庭型产消者，充分考虑智能电网中电价的时变性、可再生能源发电出力的不确定性以及家庭柔性负载电力需求的灵活性，基于Lyapunov优化理论研究此类产消者的动态电力使用控制方案以及与电网电力进行双向交易的管理方案，在满足电力需求在时延容忍期限内，最大化出售电力所获的收益。

本文所提模型不仅适用于无储能设备的家庭型产消者，而且适用于具有生产和消费电能“双重功能”的其他终端用户，当负载为非柔性负载时，该模型同样适用，只需要将此时负载所允许的时延设置为0即可。

1 建模和问题描述

无储能设备的家庭型产消者的电力管理模型如图1所示。产消者安装了可再生能源装置（如光伏电板），可从周边环境中收集可再生能源转化为电力供自身使用。可再生能源发电出力因受环境、天气等因素的影响而随时间变化，由于产消者没有储能设备，所以通过智能电表与外部电网相连，从而获取外部电网的实时电价信息，以便处理（卖或买）剩余的电量或不足的部分电量。外部电网的电价是时变的，产消者的电力管理系统则可根据实时电价和自身电力需求的时延容忍，控制电力的使用和对电力买卖进行管理，在满足弹性电力需求的同时，最小化购电的成本或最大化卖电的效益。

图1 家庭型产消者的电力管理模型Fig.1 Power management modelfor household prosumer without energy storage device

将该系统在时间上离散化，每个时间间隔固定为Δt，可为1 h，10 min或1 min等。假设t时隙产消者产出的免费电量为h(t)，这里t∈{1，2，…，T}。外部电网在t时隙实时电价为P()t。产消者在t时隙决策的服务电量用d()t表示，决策从外部电网购买的电量用b(t)表示，卖给外部电网的电量用s(t)表示。

由模型可知，用户任意时隙电力供需的关系满足：

产消者的电力管理系统中每个时隙各变量受到硬件电路和线路容量的限制，即为常数。此外，由于产消者买电和卖电不能同时进行，因此有

对于家庭型产消者来讲，其负载一般分为3种类型［17］：1）不可转移的负载（如电视、电脑等）；2）可转移但不中断负载（比如洗碗机、洗衣机、电车充电等）；3）功率可控负载（如采暖、通风、空调系统等）。本模型考虑电力需求灵活的用户，其负载为第二类型可转移的负载。可转移负载其运行功率是固定的，但用电时间可调节，因此该类负荷可以从电价高峰时段转移至低峰时段被满足。但可转移负载有一定的时延容忍，需要在用户可容忍的期限内满足电力需求。

对于弹性电力需求，我们建立一个电力需求队列，产消者t时隙的电量需求表示为a()t，进入电力需求队列以先进先出的方式等待被服务，但电力需求队列中a()t的等待时间不能超过可容忍的最大时延Tmax，需要注意的是，为简化起见，这里a(t)为各弹性需求电器t时隙的总需求，Tmax为各负载允许的最大时延的最小值。电力需求队列t时隙的服务电量为d(t)，用Q(t)表示电力需求队列的积压，每一时隙对Q(t)的更新如式（2）：

产消者的电力管理系统通过智能电表能实现与外部电网之间的双向电力传输，决策交易量s()t和b(t)大小。当产消者从电网购买电力，购买的价格为P(t)，Pmin≤P(t)≤Pmax。当产消者出售电量给外部电网，出售价格应严格低于购买价格，出售的价格为βP(t)，这里β为(0，1)区间的常数，0＜β＜1的原因是避免恶性的套利行为［26-27］；此外外部电网从产消者汲取电量进行传输管理，必然存在电量损耗，比如AC/DC转化带来的电量损耗以及传输线路带来的电量损耗等。因此当产消者从外部电网购买电力，则花费的成本为P(t)b(t)；与之相反，当产消者卖给电网电量，则获得的收益为βP(t)s(t)。

2 问题规划及求解

产消者每时隙产出的电量h(t)和需求的电量a(t)均为随机过程，同时智能电网中的电价P(t)是时变的，产消者的能量管理器基于当前时隙的系统状态(P(t)，Q(t)，h(t)，a(t))，需要决策服务电量d(t)，并判断从外部电网购买电量还是出售电量给外部电网，即决策s(t)和b(t)及其值的大小。本文的优化目标是寻找每个时隙的决策向量(d(t)，s(t)，b(t))，在满足产消者的电力需求容忍时延内，最大化产消者电量交易的长期平均效益，该问题规划如下：

其中式（3）为优化目标，将产消者t时隙的收益减去成本，E{·}为期望。约束（4）用于保证电力需求队列稳定，即电力需求等待服务的时延为有限值；约束（5）进一步保证电力服务的时延不超过用户的最大时延容忍Tmax；约束（6）、（7）限制产消者的电力供需平衡和决策变量的最大值；约束（8）表示产消者与外部电网在同一个时隙内买电、卖电不能同时进行。此外为保证以上问题可行，假设Emax＞amax，其中amax为所有时隙中产消者的最大电力需求量。

2.1 电力服务时延保证

为保证产消者等待电力服务的最大时延不超过可容忍的范围，本文构建虚拟队列Z(t)来保证以上约束（5）成立。定义Z(0)=0，η＞0，虚拟队列根据以下的公式进行更新：

式中：1{Q(t)＞0}为一个指示函数，当Q(t)＞0时为1，否则为0。参数η为虚队列惩罚因子，意味着对虚拟队列积压的惩罚，用于调节虚拟队列Z(t)的增长速度，η看上去像虚拟队列的到达过程，在实队列Q(t)积压非空的情况下每个时隙到达η，而虚队列的服务速率则跟实队列相同（都为d(t)），这确保了如果Q(t)队列中有长时间未得到服务的请求，Z(t)会增长。产消者控制电力管理系统使队列Q(t)和Z(t)均稳定，即有限的上界，那么就可以确保所有电力需求都在时延容忍期限内被服务，其最大时延不超过Tmax个时隙，即满足以上问题中的约束（5）。以下引理给出Tmax的值。

引理1：假设产消者对电力的使用进行管理，使所有时隙t，有Q(t)≤Qmax，Z(t)≤Zmax，Qmax和Zmax为正常数，那么电力需求队列等待服务的时间，最大不超过Tmax个时隙。这里Tmax为：

具体证明可参考Lyapunov优化理论［28］。

调整参数η可改变电力需求队列的最大等待时延Tmax，使其满足产消者的时延容忍要求。现在原问题（3）—（8）中约束（5）则转变为：

电力管理系统控制实队列Q(t)和虚队列Z(t)均稳定，来保证电力需求队列的最大等待时延Tmax不超过产消者的容忍期限。

一般情况下，若想要电力需求队列等待时延小，则η的值应当尽可能地大，但要满足η≤E{a(t)}，如果E{a(t)}给出，则可使η=E{a(t)}。其原因是实队列和虚队列有相同的服务速率都为d(t)，要保证各队列均稳定，根据队列稳定的条 件 则 有：E{d(t)}≥max(E{a(t)}，η)。若η＞E{a(t)}，则E{d(t)}≥E{a(t)}，对于实队列来说，队列的平均服务速率则大于电力需求到达的平均速率，这样实队列很快为空队列，则虚队列中的指示函数1{Q(t)＞0}为0，虚队列的积压则也不再增长，此时等待服务的时延降到最低，因此η＞E{a(t)}将起不到相应的作用。

2.2 李雅普诺夫优化

为求解以上问题，本文利用Lyapunov优化方法在满足电力需求实队列和虚队列稳定，且保证电力请求的等待不超过产消者可容忍的时延的条件下，开发一种动态电力服务和电力贸易算法，使产消者与电网交易的长期平均效益最大。首先定义即实队列和虚队列的联合矢量。为了标量化队列积压，定义李雅普诺夫函数：则一个时隙的李雅普诺夫漂移如下：

根据Lyapunov理论，最小化每个时隙的Lyapunov漂移，则能保证队列Q(t)和Z(t)稳定，即队列的上界有限，从而满足约束（5）。我们的目标是在满足约束的基础上最大化目标函数（3），根据Lyapunov漂移加惩罚优化方法，最大化目标函数（3）等价于最小化每个时隙的Lyapunov“漂移加惩罚”函数，因此问题的求解可转化为：

式中V为正数，会影响性能延迟折中。采取行动使最小化，就会将两个队列推向较低的积压，但会产生较大的惩罚，因此我们的目标是最小化“漂移加惩罚”的加权和，经求解式（13）有界，满足式（14）所示不等式：

这里B为常数，具体式（15）所示：

将待求解的问题转化为最小化每个时隙的“漂移加惩罚”表达式（13），该表达式有界（式（14）），从而等效于最小化每个时隙的不等式（14）右边的各项，将d(t)=h(t)+b(t)-s(t)带入，除去决策变量(s(t)，b(t))的无关项，整理得：

每一个时隙观察(P(t)，Q(t)，Z(t)，h(t))，根据决策变量的约束（6）—（8）即可得到实时电力管理算法。

3 动态电力管理算法

利用Lyapunov优化方法，最大化产消者的平均收益最终转化为最小化式（16），令Q(t)+Z(t)-VβP(t)=α，Q(t)+Z(t)-V P(t)=γ。因为0＜β＜1，因此总有α＞γ。在约束条件（6）—（8）的约束下，最小化式（16），得到产消者在t时隙的决策如下。

1）若γ≥0时，最小化式（16），此时的决策为：

从物理意义上解释：γ≥0，即Q(t)+Z(t)-V P(t)≥0，此时表明电力需求队列积压较大，或者外部电网的电价较低，此时产消者尽可能地买电以满足积压的电力需求；

2）若α≤0，最小化式（16），此时的决策为：

从物理意义上解释：α≤0，即Q(t)+Z(t)-VβP(t)≤0，此时表明电力需求队列积压较小，或者外部电网的电价较高，此时产消者尽可能地卖电以获得更多利益；

3）若α＞0＞γ，最小化式（16），此时的决策为：

从物理意义上解释：α＞0＞γ，此时表明电力需求队列的积压适中，或者外部电网的电价适中，此时产消者不必要与外部电网发生交易，仅使用自身产出的电量；

可见，电力管理系统的决策取决于当前系统的状态，即与表示电力需求积压情况和电价的α和γ有关。确定产消者与智能电网之间的交易电量（即b(t)和s(t)）后，则可得到产消者从外部电网购电花费的成本为P(t)b(t)，出售电量给外部电网产生收益为βP(t)s(t)。

3.1 动态算法

产消者与外部电网交易长期（t=1→T）平均效益最优的电力管理算法具体如表1所示。每个时隙只需要观测系统当前状态（电力需求的积压情况Q(t)和Z(t)，可再生能源发电出力h(t)，以及电网的电价P(t)），即可以做出最优决策。可见所提算法的复杂度低，仅随T呈线性增加，且不需要电力需求、电价变化和可再生能源发电的先验知识，可在线执行，易于实现。

表1 电力使用和交易动态算法Tab.1 Dynamic algrithm for power usage and trading

3.2 算法性能分析

假设产消者的电力需求a(t)∈Λ，t=1，2，⋅⋅⋅，Λ落在问题的可行域。如果固定参数η，0≤η≤amax，且参数V＞0，则提出的算法性能如下：

1）在所有的时隙中，队列Q(t)和Z(t)的上确界分别为：

2）电力需求队列等待服务的最大时延Tmax为：

3）若给定η，且η≤E{a(t)}，基于所提的算法，产消者收益期望值的平均值跟最优值Copt的差值不超过即：

式中B为常数，在式（15）中已给出。其证明可参考Lyapunov优化理论［28］。

从所提算法的性能2）可看出，电力需求队列中的电力需求等待时延（即队列积压）随参数V取值增大而增大；而从性能3）可知，产消者的收益即目标函数，随参数V的增大而减小。因此V是一个调节参数，通过调节参数V可优化目标无限接近最优值，但是电力需求的等待时延将会增加，因此参数V的取值根据产消者的可容忍时延进行折中设置。

4 仿真结果

为验证所提算法的有效性，在MATLAB平台上进行仿真验证。考虑屋顶装有光伏电板的某一普通家庭型产消者的售电收益情况，这里时隙间隔固定为1 min（算法的步长），研究时长为一个月（30 d，共43 200时隙），具体参数设置见表2。根据市场调研，电网电价波动范围为0.5～2.0元；家庭型产消者安装的光伏电板平均电力产出为35 kJ/时隙，产消者的平均电力需求为30 kJ/时隙。家庭型产消者的电力需求和电力产出过程分布的设置仅方便仿真演示，理论分析表明所提算法不受随机过程概率分布的影响。

表2 参数设置Tab.2 Parameters setting

首先，将提出的算法与两种已有算法和3种贪婪算法进行对比，几种算法下产消者在43 200时隙（即30 d）内的累积收益对比如图2所示。

图2 不同算法下产消者的累积收益对比Fig.2 Comparison of cumulative revenue under different algorithms

其中，文献［24］中提出了一种强化学习的算法；文献［19］中所提算法没有考虑产消者与智能电网的双向电力交易（即只买不卖）；其余3种算法均为贪婪算法，其中“最后期限满足”是指产消者的弹性能量需求在可容忍的最后期限才被满足，否则将收集的电量尽可能出售掉，这里最后期限设为20个时隙；“即时满足、双向交易”是指不管产消者的电力需求容忍有多大，只要有电力需求，就立即满足，且产消者与智能电网之间的交易是双向的；“即时满足、单向交易”是指立即满足产消者的电力需求，但与智能电网之间的交易是单向的。此时选取V=400，从图2可看出，提出的算法明显优于已有的两种算法和三种贪婪算法，具体地，相比文献［24］中的强化学习算法，产消者的收益平均每月增加了12%。基于文献［19］中的算法，产消者的收益或成本均为0元，原因是：产消者的平均电力产出大于其平均需求，在某个时刻若电力需求大于电力产出，产消者通过转移负荷，使购电成本最小。

算法的时间对比：在同一台（配置相同）个人PC机上运行本文所提的算法和文献［24］中所提的强化学习算法（Pycharm平台），本文所提算法的运行时间仅为20 s，而强化学习算法则需要10 h左右。其原因是本文所提算法不需要历史数据的训练，而且当系统环境发生改变时，该算法同样适用，不受随机过程概率分布的影响，不需要重新学习。

图3给出了不同算法下产消者的弹性电力需求对应的时延分布，这里将图2中产消者收益最高的3种算法相对比（参数与图2相同），可见基于所提算法产消者电力需求的等待时延大多数为8～10个时隙，而基于文献［24］强化学习算法，时延大多数为10～12个时隙，“最后期限满足”算法对应的时延则大多数为18～20个时隙。

图3 不同算法对应的服务时延分布Fig.3 Delay distribution corresponding to different algorithms

因此综合图2和图3，所提算法不仅提高了产消者的收益，电力需求的等待时延相对较低。所提算法之所以优于其他几种算法，原因是：所提算法综合考虑时变的电价信息和用户的容忍，在电价高的时隙，产消者尽可能地出售电量，而尽可能不购买电量（除非必要）；相反，在电价低的时隙，则产消者尽可能地满足电力需求。而“最后期限满足”算法不考虑电网电价的高低，总是把电力需求积压压至最后期限才考虑购电。

为评估可再生能源电力产出对所提算法的影响，保持平均电力需求dav不变，图4给出了3种电力产出情况下用户30天末的收益直方图，此时电力产出均值hav分别为40 kJ、30 kJ、25 kJ的3种情况。从图4中可以看出：1）在发电出力均值不同的情况下，所提算法均优于已有的算法和3种贪婪算法；2）电量出力平均值越小，无论哪种算法产消者可用的免费电量均会减少，则收益均会减少；3）当电量出力均值小于产消者电量需求均值（30 kJ），则产消者需要从智能电网购买额外电量以满足需求，则收益为负（即电力成本），可见所提的算法电力成本低于其他算法的成本，如图4中的情况3所示。

图4 不同电力收集均值下的收益Fig.4 Revenue comparison under different average energy harvesting

本文设置的调节参数V，用于折中产消者的收益和电力需求的等待时延，在表2参数设置下，不同V值对算法性能的影响如图5所示，从图5（a）可以看出，产消者的累积收益（30天末）随参数V值的增大而增大，而图5（b）可以看出产消者等待电力服务的时延分布情况，即随着V值的增大，产消者电力需求的平均等待时延越大，这验证了算法性能分析中式（19）和（20）这一结论。从图5（b）可以看出当V=100时，电力需求一般等待2～3个时隙，当V=300时，可以看出平均时延为6～7个时隙，而当V=500时，平均时延为12～13个时隙。

图5 参数V不同的取值下的收益和时延分布Fig.5 Revenue and delay distribution under different values of the parameter V

图6给出了产消者的收益和平均等待时延随着参数V变化情况，从图6可以看出当V的值大于500后，产消者的收益和平均等待时延增加缓慢，逐渐趋于饱和（渐近最优），在实际中，产消者可根据自身的实际需求选择适当的参数。

图6 参数V对算法性能的影响Fig.6 The influence of parameters V on algorithm performance

图7给出了虚拟队列Z(t)的惩罚因子对电力需求队列等待时延的影响。由前面的理论分析可知惩罚因子η用于调节虚拟队列的增长速度，从引理1可知调节参数η可改变电力需求队列的等待服务的最大时延。一般情况下，若想要电力需求队列等待时延小，则η的值应尽可能地大，从前面的理论可知η≤E{a(t)}，图6给出了该参数在不同取值下（即对电力需求队列等待时延的影响，从图7可以看出，等待时延随η值的增大而减小，当η＞E{a(t)}时，等待时延不再随η值的增大而减小，时延降到最小，这一结果跟前面的理论分析相一致。

图7 虚队列惩罚因子对时延的影响Fig.7 Effect of penalty factor of virtualqueue on delay

5 结论

本文主要研究家庭型产消者的电力使用控制和电力交易方案，目的是最大化无储能设备的产消者出售电力所获的收益。基于智能电网中实时电价、可再生能源发电出力的不确定性以及家庭柔性负载的弹性电力需求，利用Lyapunov优化理论提出了一种复杂度低的动态电力管理算法，该算法复杂度低，不需要随机过程的先验知识，理论分析证明该算法可使产消者的长期平均效益无限接近到最优值，通过调节参数可保证服务时延满足用户的要求（在容忍范围内），并通过仿真验证了该算法的有效性，仿真结果表明所提算法可使普通家庭产消者明显提高收益，并分析了不同参数对所提算法性能的影响，为无储能设备的产消者如何选取合理的参数提供参考依据。此外储能设备将为产消者带来更多的利润，但此类产消者的电力管理还需要考虑储能设备的折旧成本这一复杂过程，这将是我们下一步的研究工作。