Stackelberg博弈模型的电力系统可靠性网络安全保险策略

2022-05-06萧展辉孙刚邹文景

科学技术与工程 2022年11期

萧展辉，孙刚，邹文景

(南方电网数字电网研究院有限公司，广州 510663)

在过去十年中，全世界电网系统发生网络攻击的频率越来越大，导致产生了巨大的经济损失[1]。因此，对于各国电力公司来说，如何建立电力系统可靠性网络安全保险模型对于实现稳定的安全防卫以及降低经济损失具有十分重大的意义[2]。

网络安全可以通过更复杂的防御系统来增强，其中攻击防御广域监控、保护和控制系统从风险评估到检测和攻击缓解再到攻击抵御，是一个由整个安全生命周期构成的安全框架[3]。其中，风险评估对于建立安全保险模型是十分重要的一环。文献[4]提出了一种基于模糊集的模糊综合评价混合多准则决策方法，用于电网企业输配电电价监管风险评价。文献[5]提出了一种基于贝叶斯最佳-最差方法的混合多准则决策方法(mixed multiple criteria decision making method,MCDM)，用于中国电网投资风险评估。文献[6]基于态势感知提出了一种主动配电网风险评估方法,运用基于指数标度法的层次分析法对影响安全稳定运行的因素进行了分层评估。文献[7]对大容量电力系统进行瞬态脆弱性评估来量化网络攻击的影响。但是上述方法未考虑防御资源分配策略的影响，另外在探索网络攻击造成的长期性系统危害评估等方面还有待提升。

除了风险评估外，如何定制合理的保险策略是建立电力系统可靠性网络安全保险模型的关键一步。针对如何实现合理地保险策略已经存在一系列研究，文献[8]针对现有可用输电能力决策方法难以兼顾安全性与经济性，提出了一种基于安全性风险评估与保险机制的可用输电能力决策方法。文献[9]针对现有安全性风险评估中严重度指标的可比性、可理解性问题，提出一种基于模糊聚类与信息熵相结合的电网保险策略。文献[10]针对现有安全性风险评估方法对元件差异性表征的不足，提出一种基于K近邻与支持向量机相结合的电网安全保险策略。虽然上述方法取得了一定效果，但是过于关注风险赔偿，未权衡安全投资与保险费之间的关系。

为解决上述问题，现提出一种基于Stackelberg博弈模型(Stackelberg security game,SSG)的电力系统可靠性网络安全保险策略，该方法结合概率和博弈论建模来评估网络攻击对可靠性的影响，并提出Stackelberg安全博弈模型作为在每个半马尔可夫过程(semi Markov process,SMP)中跨目标变电站分配防御资源的最佳随机分配机制。验证实例证明了提出方法的有效性。

1 网络可靠性评估模型

1.1 SMP攻击容错模型

电力系统的信息和通信技术网络(information and communication technologies,ICT)通过广域网(wide area network,WAN)连接的有3个主要部分：发电运行、控制中心和变电站，每个部分都使用局域网(local area network,LAN)来协调智能电子设备[11]。变电站安装通过监控与数据采集(supervisory control and data acquisition,SCADA)系统监控可能遭受网络攻击的变电站。网络攻击的原理如下：在这些攻击中，攻击者的目标是渗透防火墙或绕过VPN以访问变电站的SCADA服务器[12]。在获得SCADA服务器的根权限后，攻击者可能恶意操纵电压和电流测量值，或发送错误命令以跳闸变电站中的断路器。因此，网络攻击可能会切断发电机组和输电线路与电网的连接，导致较大的经济损失。

ICT的广泛应用给电力系统的网络安全带来了更高的风险[13]。由于SMP模型适用于评估每个变电站SCADA系统的网络攻击，本文中利用SMP建立了SCADA系统的攻击容错模型。如图1所示，网络攻击的随机过程由一组状态组成Sn={G,V,H,C,A,T,R,M,F}。这些状态可分为两类：瞬态和吸收态。瞬态将SCADA系统的攻击过程从正常工作状态映射到故障状态，以SSG确定的给定概率将系统恢复到良好状态。吸收状态将恢复过程从故障状态映射到正常工作状态(恢复状态R除外)，满足瞬态{G,V,H,C,A,T,R}∈St和吸收态{M,F}∈Sa。

p表示相应的功率，T表示状态，下标DC表示微电网图1 SCADA系统的攻击容错模型Fig.1 Attack fault tolerance model of SCADA system

SMP具体步骤如下。

步骤1SMP从良好状态G开始，系统没有网络安全风险。一旦网络安全策略失效，SCADA系统将从良好状态G过渡到脆弱状态V。

步骤2当攻击者成功获得目标服务器的权限时，SCADA系统进入主权状态H。

步骤3当攻击者从目标服务器渗透以获取整个网络中连接服务器的权限后，网络连接状态C。

步骤4在处于状态C时，攻击者在服务器中嵌入后门程序，以增加SCADA系统的漏洞。如果成功发起主动攻击，系统将进入攻击状态A。

步骤5在入侵状态下{G,V,H,C,A}，如果SCADA系统的检测策略暴露了攻击过程，则中断攻击过程，系统返回到良好状态G。

步骤6如果SCADA系统具有冗余，以便在主动攻击下提供正常服务，则会出现屏蔽危害状态M。

步骤7当在网络攻击期间检测到攻击时，达到分类状态T。在这种状态下，会考虑各种防御方法来应对攻击。如果投入防御资源来维持攻击，则会进入恢复状态R。否则，系统进入故障状态F并导致网络损坏。以上是整个网络攻击过程。

1.2 建立网络攻击模型

SMP模型的瞬态捕获了攻击从良好状态到故障状态的动态过程，其特征是平均妥协时间(mean time to compromise,MTTC)。实际上，MTTC是基于漏洞和脆弱性数据进行建模的。本文中将SMP模型应用于目标变电站的MTTC评估。相比之下，平均修复时间(mean time to repair,MTTR)描述了SCADA系统从故障状态恢复到良好状态的平均时间。

将马尔可夫核中的第(j,i)个转移概率表示为pij，可通过拟合脆弱性发生数据获得其经验值；网络攻击SMP模型的马尔可夫转移矩阵可以表示为

(1)

(2)

由瞬态i的平均访问次数定义访问计数器Vi。结合转移概率和平均逗留时间，MTTC可以解析计算。个人访问计数器的关系为

(3)

通过矩阵划分，从Pn中获得由瞬态St组成的子矩阵Pt表达式为

(4)

将Pt中的元素代入式(3)，可以得到一个线性系统，由于系统行列式始终为非0，因此可以保证该系统Vi的唯一解。因此存在关系式

(5)

(6)

另一种从数值上获取序列{Vi}的方法是提取矩阵It-Pt逆转置的第一列，即

s.t.V″=(It-Pt)-1=[V″1，V″2，…，V″j]T

(7)

式(7)中：It是与Pt大小一样的单位矩阵。另一方面，网络攻击的随机性由随机变量估计的转移概率和平均逗留时间进行建模，即

(8)

(9)

(10)

(11)

(12)

网络攻击的随机性由给定变量生成的时间序列建模，威布尔分布是失效分析中常用的一种分布函数，是本文所选的变量类型。TTCλ遵循威布尔分布的概率密度函数为

(13)

(14)

通过下式关系实现状态持续时间采样，即

(15)

1.3 损失函数建模

本研究中评估的电力系统可靠性性能指标为经济损失，预期中断成本(expected interruption cost,EIC)的表达式为

(16)

式(16)中:Ω为一组负载损失参数；Ci负荷削减；Di为持续时间；W(Di)为单位中断成本。本研究假设W(Di)与Di成正比；μ为系数。

2 保险策略

网络保险原则的设计目标如下：①保险费应足以覆盖潜在损失的索赔；②变电站应能负担得起保险费。在本节中，所包含的损失指的是可靠性性能，即负荷中断引起的经济损失。

一个基本的保险原则是预期价值保险费。考虑到潜在的损失X，预期保险费的表达式为

π(X)=(1+ρ)E(X)

(17)

式(17)中：ρ为风险负荷系数(risk load factor,RLC)。RLC设为正值，以缓冲不确定性、管理成本，并提供一定的利润率。另一方面，RLC通常相对较低，以保证保险产品的可承受性。即使RLC较低，只要保险池足够大，大数定律也能保证保险人收取的总保险费足以弥补全部潜在损失。然而，由于网络安全威胁的性质，不同变电站的网络相关损失可能会有所不同。因此，需要性能更优的保险费原则来定价和管理这些潜在的相关风险。

(18)

式(18)中：VRα(Y)=inf{y:P(Y>y)≤α}，α∈(0,1)。表示控制总损失LT超过总保险费PT1的置信水平α，即P(LT>PT1)=α。

定义2基于风险尾部价值VtR(tail value at risk,TVaR)得到的总保险费：为确保保险费更好地弥补潜在损失，保险公司更保守的选择是通过风险尾部价值的总保险费，即

(19)

总损失LT超过总保险费PT2的概率会受到置信水平α的限制，即P(LT>PT1)<α。从这个意义上讲，TtR保险费原则比VR更保守。

定义3VR和VtR衍生保险费：通过VR(π1)和VtR(π2)的保险费表达式分别为

(20)

(21)

对于总保险费而言，分配的个人保险费相对于总保险费PT1和PT2为

(22)

(23)

另外一种保险费策略(π3)是根据个人对总VtR的贡献，对PT2进行分配，定义为

π3(Xi)=E[Xi|LT>VRα(LT)]

(24)

提出的保险费策略与传统策略的主要区别在于考虑了风险之间的潜在相关性，传统的保险费策略基于边际特征设计价格风险，而没有考虑依赖性。在网络保险的背景下，这可能会导致保险公司出现严重的损失情况。本文中保险费设计是根据总损失确定保险费用，从而大大降低了保险公司破产风险。

3 博弈论网络保险框架

应用博弈论对电力系统进行分散控制，从而降低通信基础设施的故障风险。通过避免自上而下的设计，分布式多人博弈可以将电力系统动力学建模为博弈中的组件参与者。Stackelberg博弈是一类层次博弈，主导代理先于跟随代理执行策略。代理可以是一名参与者或一个关系协调的团队。在两人Stackelberg安全博弈中，防御者是领导者，攻击者是追随者。与一般算法相比，多目标SSG的紧凑形式算法可以大大加快计算速度。

由于防御网络物理系统(cyber-physical systems,CPS)的资源通常很少，因此有效分配防御资源的策略决定了目标抵抗对手的能力，防御资源是指量化可用安全预算的权重分配系统。防御资源反映了构建安全对策所需的相对成本和付出，包括身份验证、授权、加密、防火墙、防病毒软件、入侵检测系统等，以确保变电站的网络安全，可以将防御资源投资于必要的防御机制中，以抵御网络攻击。

最大无差异优化博弈(optimizing resources in games using maximal indifference,ORIGAMI)中是双方博弈中的一种算法，本文中引入ORIGAMI的目的是识别每个目标的漏洞。考虑SSG中每个变电站的可用安全预算，该算法可作为防御方的风险评估方法，预测系统中潜在的网络安全威胁。每个变电站部署分布式ORIGAMI在相关变电站上分配防御资源，保护目标免受潜在的网络攻击，本文中将ORIGAMI算法引入到网络安全威胁下的电力系统可靠性分析中，考虑了最优防御资源分配方案。ORIGAMI将原来的NP-hard问题转化为更有效的迭代形式，算法1描述了ORIGAMI的详细过程。

算法1:考虑最优防御资源分配的变电站保护范围1:输入:目标集τ={τ1,τ2,…,τn},防御资源m2:通过一组随机变量生成{Uuα,τi},{Ucα,τi}。3:根据未发现攻击者的收益对目标进行排序{Uuα,τi}4:初始化left←m,next←1,C←0,{ΔpDC(τi)}←0,CvgBnd←-inf5:repeat6:for i=1 do7:计算ΔpDC(τi)←Uuα(next)-Uuα(τi)Ucα(τi)-Uuα(τi)8:if pDC(τi)+ΔpDC(τi)≥19:CvgBnd←max(CvgBnd,Ucα,τi)10:计算sum[ΔpDC(τi)]11:if CvgBnd≥-inf,或者ΔpDC(τi)≤left12:Break;13:C(τ)←C(τ)+ΔpDC(τ)14:left←left-sum[ΔpDC(τi)]15:next++16:计算ratio(i)←1/(Uuα,τi-Ucα,τi),i=1:next17:计算sum[ratio(i)]18:for i=1 do19:pDC(τi)←pDC(τi)+ratio(i)*leftsum[ratio(i)]20:if Cvg(τi)≥121:CvgBnd←max(CvgBnd,Ucα,τi)22:if CvgBnd>-inf23:pDC(τi)←CvgBnd-Uuα(τi)Ucα(τi)-Uuα(τi),i=1:nextUntilnext==n24:输出C={pDC(τi)}

在ORIGAMI算法中，SSG模型由攻击者α和防御者β在目标集上τ={τ1,τ2,…,τn}的防御范围序列C={pDC(τi)}。假设每个目标τi从良好状态开始，对于攻击者和防御者，都会考虑两种情况：一种是防御者覆盖目标，或暴露目标，收益函数的表达式为

(25)

(26)

(27)

式(27)中：a(τi)∈{0,1}。当防御者选择最优混合策略以最大化防御者的收益时，就会出现SSG中始终保证存在强Stackelberg均衡(SSE)解的情况。在典型的双方SSG中，除非博弈是零和博弈，否则SSE不符合纳什均衡。ORIGAMI通过随机覆盖每个目标的初始收益函数来计算攻击者/防御者的收益，从而加速防御资源的分配。防御者在此设置下的最佳混合策略可通过多项式时间函数计算，随机分配初始收益有助于对攻击进行加密。ORIGAMI的特点是迭代搜索攻击者的最小收益，其防御范围大致与防御者的最大收益一致。

ORIGAMI根据负载总线的变电站所有权，基于每个目标的攻击/防御收益分配防御资源。在算法1中，防御资源m分配给单个目标，或者根本不分配，生成防御覆盖序列C={pDC(τi)}。

网络安全可靠性评估：根据变电站分区信息中显示的所有权边界，将电力系统划分为独立的变电站，SMC模型中的经验平均值可以通过拟合实际中的脆弱性数据获得。在SMP模型中，通过算法1中得到的{pDC(τi)}进行防御资源的分配。然后结合转移概率和平均逗留时间的随机性，合成MTTC统计量，通过采样的TTC生成网络攻击的时间序列。如果至少存在一次变电站停运，则进行最优潮流分析，以最小化负荷削减。然后记录总负荷削减和负荷损失持续时间。重复该过程，直到达到停止条件。

网络保险费估算：基于蒙特卡罗模拟(Monte Carlo simulation,MCS)中负荷损失的统计记录，计算基于MCS结果的可靠性价值。然后确定变电站的网络保险费。

4 数值计算与分析

4.1 基本案例的损失评估

用于本文中网络保险框架案例研究的IEEE可靠性测试系统RTS-96的单线图如图2所示。IEEE RTS-96由3个相同区域、6条区域间传输线组成，详情见文献[14]。假设测试系统由7个独立的变电站单独操作。每个变电站的TC1-TC7的负载母线如表1所示：TC1-TC2位于1区，TC3-TC5位于2区，TC6-TC7位于3区。

图2 RTS-96的单线图Fig.2 Single line diagram of RTS-96

表1 变电站总线的负荷所有权Table 1 Load ownership of substation bus

在案例研究中，连续MCS使用SMP模型来估计变电站受到的网络攻击。对于每个变电站，使用SSG在SMP模型中分配防御资源覆盖率，系数μ设为2.225 k$/(MW·h)。

以下参数是案例研究中SMP模型的平均值：

(28)

由算法1直接确定{pDC(τi)}，除了参数外，防御资源的分配还决定了攻击容错能力，从而决定了每个变电站的安全级别。在低防御覆盖率(low defense coverage,LDC)的情况下，可用的防御资源仅足以保护每个变电站中20%的变电站。本案例组研究在防御资源预算紧张的情况下，验证了SSG的有效性。另一方面，还分析了当有充足的防御资源时，跨变电站的损失分布情况。在高防御覆盖率(high defense coverage,HDC)的案例组中，可用防御资源增加到覆盖率为80%的变电站。根据式(28)和{pDC(τi)}中上述SMP平均值计算的标称MTTC如图3所示，变电站按照各个变电站中总线号的升序排序。具有高防御覆盖率的变电站可以提供更强大的网络攻击防护。例如，变电站的TC1有13条总线，防御覆盖率高，防御资源设为mU1=13×80%≈10，分配为

图3 变电站标称MTTCFig.3 Nominal MTTC of substation

{pDC(τi)}TC1={0.549 1,0.575 7,0.377 8,

0.870 4,0.517 1,0.699 6,

1.000 0,0.461 0,0.734 0,

0.894 4,0.756 2,0.889 3,

0.898 7}

(29)

防御覆盖序列的总和受防御资源的限制。为了证明，令sum[pDC(τi)]U1≤mU1。将式(28)和式(29)换为式(6)和式(9)，得到标称MTTC(天数)为

{MTTC}TC1={154.91,159.95,128.79,

249.51,149.27,188.43,330.67,140.29,198.21,261.38,205.08,258.77,263.63}

(30)

同样，可以计算其他变电站的标称MTTC。在这两个案例组中，考虑了相互依存的各种优势：ζ=0，ζ=0.7，以及ζ=1，相互依存的强度是变电站高度脆弱性的一个促成因素。向目标/变电站发起网络攻击，每个变电站的时间序列由SMP模型中的随机变量确定。本文中假设当进入故障状态的变电站受到网络攻击时，连接的发电机和输电线路会跳闸。然后在变电站中执行最优潮流(optimal power flow,OPF)，从而保证在发电容量不足和网络约束条件下可以最小化负荷削减。根据OPF结果计算可靠性指标，即收益损失。最后，根据网络攻击造成的收益损失分布，运用精算保险原理估算变电站的保险费。

在低防御覆盖率的案例组中，各种情况下的预期值(EIC)、标准偏差(SD)和变异系数(CoV)如表2所示。预期值和标准偏差随相互依存度ζ的增加略有变化，CoV处于典型范围[0.64,0.76]。图4中的损失分布直方图与表2中的值一致，对于不同程度的相互依赖强度，计数器且大致服从单调分布。如图5所示的相关矩阵表明，变电站之间的相关性随着常见网络风险的增加而增加。除了对角线项(必须为1)外，相关平面的平坦度很高。当ζ=0时，任何两个变电站都不具有相互依赖性，这一事实表明相关性接近于0。当ζ=0.7是，相关性范围为[0.20,0.30]。当ζ=1时，相关性非常高，为0.69。

图4 损失分布直方图Fig.4 Loss distribution histogram

图5 低防御覆盖率的相关矩阵Fig.5 Correlation matrix of low defense coverage

表2 LDC中变电站的预期值(k $)、标准差(k $)和经济损失变化系数Table 2 Expected value(k $), standard deviation (k $) and economic loss variation coefficient of substation in LDC

在采用高防御覆盖率的案例中，图6中的高损失消失得很明显。在边缘分布中，可以观察到概率质量转移到低损失区域。低端损失分布的集中也导致CoV增加，取值范围为[0.64,0.76]，如表3所

表3 HDC变电站的预期值(k $)、标准差(k $)和经济损失变化系数Table 3 Expected value(k $), standard deviation(k $) and economic loss variation coefficient of HDC substation

图6 高防御覆盖率分布直方图Fig.6 High defense coverage distribution histogram

示，在变电站中可以观察到损失的大幅减少。另外从图7可以发现，相互依赖的强度随着高防御覆盖率而降低。当ζ=0时，表示完全不相关。当ζ=0.7时，会产生低相关性，其范围为[0.15,0.25]。当ζ=1时，相关性提高到[0.45,0.60]。从相关矩阵可以发现，损失相对减少和较弱的相互依赖性都是高防御覆盖率所导致的，任何两个变电站之间的相关性因变电站的互连和网络攻击安全性而异。

图7 高防御覆盖率的相关矩阵Fig.7 Correlation matrix of high defense coverage

给定SMP模型中参数的平均值，变电站的统计主要由防御资源覆盖率和各自的负载分布决定。由于假定的网络攻击均匀地发射到每个变电站，因此负载分布更均匀的变电站将保持更高的电力安全性。例如，与变电站的TC1相比，变电站的TC6的峰值负载更高，但攻击引起的损失更低。变电站的保险费目的是反映网络攻击造成的损失分布，变电站的SMC模型中变化的相互依赖的强度ζ会对保险费产生影响。

4.2 精确保险费计算

使用保险费原则式(20)、式(21)、式(24)，计算所有变电站的保险费，其中所有保险费的置信水平均设为α=5%。从保险人的角度来看，最好将风险控制在相对较低的水平。具体而言，π1(VaR的保险费)旨在确保总保险费大于总损失，概率为1-α。π2(TVaR的保险费)保证总保险费超过总损失的概率大于1-α。尽管两者在每个变电站中表现出相同的趋势，但是π2比π1可以更好地弥补潜在损失。与π2不同，π3(通过TVaR简化保险费)分配总保险费TP2基于变电站对总TVaR的贡献，而不是与特征相关的比率。从而π3更好地反映单个变电站对保险组合风险的责任。单个保险费估计使用π2及π3的结果很接近，根据本文保险费原则，重新引入风险负荷系数(risk load coefficient,RLC)，作为衡量保险费可承受性的指标，它衡量的是保险费超过风险预期价值的比例,即

ρi(Xi)=π(Xi)/E(Xi)-1

(31)

由于常见的网络风险，单个RLC将大大高于传统保险业务中的RLC(通常低于50%)。如表5所示，相对于ζ=0，相互依存强度的增加会导致高保险费。此外，在有限的采样年份下，MCS产生的结果容易受到风险不确定性的影响，这反映在单个变电站的高RLC上。

保险费策略旨在通过降低单个保险费来激励高防御覆盖率，从表5中可以发现，在高防御覆盖率的实例中，保险费的显著减少。在表4和表5中，使用π3估计的个人保险费总和与使用π2进行重分配的总和相等。RLC随着防御范围的增加而增加，表明预期损失的减少幅度大于保险费。综合以上分析，单个保险费与防御资源覆盖率呈负相关，与相互依存度呈正相关。