晁怀颇

(世源科技工程有限公司，北京 100142)

0 引言

近年来，国家信息化发展战略的贯彻落实，不仅推动了互联网、物联网、大数据、云计算的蓬勃发展，也同时推动了数据中心的快速发展。作为一种为集中放置的电子信息设备提供运行环境的建筑场所，数据中心已成为现代信息社会的重要基础设施，国内已建成或正在建设的数据中心数以万计。

供配电系统是数据中心基础设施的重要组成部分，负责为电子信息设备、制冷、空调、监控、安防、照明等所有系统(设备)供电。在数据中心宕机事故中，超过半数是因为供配电系统故障或操作不当导致，因此，选择一个高可用的供配电系统已成为数据中心建设的基本要求。

本文将针对一个建筑面积约10 000m2、布置 1 200 个5kW机柜的数据中心工程展开论述，分别介绍适用于数据中心的高可用供配电系统的三种常用形式，并从可用度、建设和运行成本、运维等角度进行分析和比较。

1 系统构架

数据中心高可用供配电系统有三种常用形式，分别为2N系统、DR系统和RR系统。下文将在市电配置和发电机配置相同的前提下，就三种系统展开讨论。其中，市电电源系统中，接入双路10kV市电电源，双路电源同时工作、互为备用，设置两段10kV市电配电母线，两段母线采用分段单母的接线方式。发电机电源系统中，配置8台10.5kV柴油发电机组，8台机组按(7+1)冗余配置，采用单母线并机系统。

1.1 2N系统

2N系统由2个供配电单元组成，每个供配电单元均能满足负载的用电要求，且2个供配电单元同时工作、互为备用。正常运行时，每个单元向负载提供50%电能，当一个单元故障停止运行时，另一个单元向负载提供100%电能。系统构架如图1所示，共配置8台2 500kVA变压器，两两一组，共4组，同组2台变压器同时工作、互为备用，其中T1～T6为IT设备供电，T7、T8为辅助和支持设备供电。每组为IT设备供电的变压器下配置两组按2N配置的UPS，N=3×(1×500kVA)。

图1 2N系统构架图

1.2 DR系统

DR(Distribution Redundancy，分布冗余)系统由N个配置相同的供配电单元组成，N个单元同时工作、互为备用(N≥3)；将负载均匀分为N组，每组负载再细分为N-1个负载单元；第一个供配电系统为第一组负载内N-1个负载单元提供第A路电源，另外N-1个供配电单元为第一组负载内的N-1个负载单元分别提供一路电源，作为负载单元的B路电源，依此类推。当一组供配电系统故障时，其对应组负载内N-1个负载单元失去A路供电，B路电源则分别由未故障的N-1个供配电系统继续供电。

本文所述DR系统中供配电单元的数量为3。系统构架如图2所示，共配置9台1 600kVA变压器，其中6台变压器为IT设备供电，3台为辅助和支持设备供电。

图2 DR系统构架图

一台1 600kVA变压器和两组2×500kVA UPS组成一个供配电单元，共6个供电配单元，每3个供配电单元为一组，同组3个供电单元按DR配置。另外3台为辅助和支持设备供电的变压器也按DR配置。

1.3 RR系统

RR(Reserve Redundanc，后备冗余)系统需设置多个供配电单元，其中一个单元作为其他使用单元的备用。当一个使用单元故障时，通过电源切换装置，备用单元继续向故障单元下的负载供电。系统构架如图3所示，共配置5台2 500kVA变压器，按4+1冗余配置，其中T1、T2、T3为IT设备供电，T4为辅助和支持设备供电，T5为冗余变压器。T1～T3、T5变压器下各设置两组(3×500kVA)UPS，T5变压器下UPS为T1～T3下UPS的备用，组成3+1冗余系统，通过STS实现切换，确保IT设备供电的连续性。

2 系统可用度分析

根据国家标准GB/T 2900.13-2008《电工术语 可信性和服务质量》规定，可用性为在所要求的外部资源得到提供的情况下，产品在给定的条件下、给定的时刻或时间区间内，能处于完成要求的功能状态的能力。可用度为在给定的时间区间内能处于完成要求的功能状态的概率，可表示为平均可用时间同平均可用时间与平均不可用时间的和之比。

图3 RR系统构架图

可用度A可表示为MTBF/(MTBF+MTTR)，MTBF为平均失效间隔工作时间，MTTR为平均修复时间。

2.1 分析方法

本文采用软件ETAP 16分别进行三种系统可用度的计算，计算方法为：N个系统串联可用度AN=A1×A2×……×AN；2个系统并联可用度A=[1-(1-A1)×(1-A2)]；N+1冗余可用度A=[1-(1-A1)2](N+1)×N/2。

2.2 分析依据

本文采用软件ETAP 16提供的可用度数据进行计算，该软件内数据依据IEEE Std493 1997，具体数值参见表1。

2.3 分析模型和结果

三种供配电系统可用度分析模型图分别如图4～6所示。

由于篇幅限制，本文不对计算过程展开讨论，仅对在相同计算方法、相同计算输入数据前提下得出结论进行讨论。三类不同供配电系统末端双电源IT设备的可用度计算结果见表2。

供配电系统各环节可用度数据表 表1

注1：软件ETAP 16未提供系统可用度数据，平均无故障时间按照15年(131 400 h)输入；平局修复时间按照24 h输入。
注2：软件ETAP 16未提供系统可用度数据，平均无故障时间按照5年(43 800 h)输入；平局修复时间按照24 h输入。
注3：软件ETAP 16未提供系统可用度数据，平均无故障时间按照10年(87 600 h)输入；平局修复时间按照8 h输入。
注4：软件ETAP 16未提供系统可用度数据，平均无故障时间按照10年(87 600 h)输入；平局修复时间按照12 h输入。

图4 2N系统可用度计算模型框图

图5 DR系统可用度计算模型框图

图6 RR系统可用度计算模型框图

2N、DR、RR系统末端双电源IT设备可用度分析结果表 表2

由表2数据可知，可用度由高到低分别为2N系统、DR系统、RR系统。究其原因，三类系统的冗余均可视作N+1配置，按N+1配置的环节中，故障数量超过1时，系统将失效；N越小冗余设备越多，可用度越高。三类系统中各环节视作N+1时的配置见表3。

2N、DR、RR系统各环节N+1冗余配置表 表3

本文虽然提供了三类系统可用度分析的具体数值，但系统中各环节可用度输入数值、各环节设备配置(如UPS并机数量)等的变化，都会对具体数值造成影响。因此，具体数值仅供各位读者做定性分析参考之用。另外，需要注意的是，可用度计算无法体现由于人为操作失误、设备安装和调试不当、运维不当等因素造成系统可用度降低的影响。

3 成本

除了可用度，成本也是数据中心规划、建设和运维关注的重点，下文将就上述的三类系统的建设和运行成本展开讨论。

3.1 建设成本

依照上文所述的各系统构架对各环节设备进行配置。但是基于各环节设备单价仅是来源于笔者的项目经验，不能完全适用于不同地区、不同行业数据中心建设，也不能完全适应不同品牌、不同类型的设备单价，故本文中定性给出的各系统造价差异，仅供比价参考。

其中，三个系统中设置的末端配电箱、ATS、变频器等配置基本相同、造价占比较小、对整体造价的影响小，未纳入设备配置表和造价估算进行比较；线缆、桥架、接地等材料成本占比较小，未进行比较；市电进线电缆的采购、敷设及测试成本，以及供电部门高可靠性收费等成本不确定性较大，未进行比较。

如表4～6所示，分别为2N系统、DR系统、RR系统主要设备配置及造价估算清单。

2N系统主要设备配置及造价估算表 表4

DR系统主要设备配置及造价估算表 表5

RR系统主要设备配置及造价估算表 表6

经过比较可知，2N系统设备造价高，DR和RR系统造价相当，较之2N系统造价低9%左右。

3.2 运行成本

折旧成本、运维人工和材料成本，未进行比较。线路和高低压开关柜损耗占比较小，未进行比较。

(1)电度电价

运行成本从项目达产后供配电系统内设备消耗的电能进行比较。供配电系统中主要能耗设备为变压器和UPS。

依据IT设备实际耗电功率6 000kW，变压器和UPS年消耗电能估算见表7。

变压器和UPS年耗电估算表 表7

注1：表中变压器损耗数据是来自国内某合资品牌SCB11系列产品。
注2：表中UPS效率数据来自国内某品牌高频机产品。

由表7数据可知，在相同用电设备耗电的情况下，不同负荷率下变压器和UPS自身的能耗差别越来越小，原因一是节能变压器的应用，二是采用了30%～100%负载率下效率都很高、效率随负载率变化不明显的UPS。

对于本文举例的年耗电近7 000万kWh的项目，不同供配电系统自身设备耗电差19.1万kWh，占整个项目年耗电不足0.3%；平均电费按1元/kWh缴纳时，年电费差19万元左右。

综上，随着节能供配电设备的应用，负载率不同导致不同供配电系统自身能耗的差异不断缩小，一般负载率大于30%时，基本可忽略此部分电度电价的差异。

(2)基本电价

项目采用两部制电价时，除了电度电价外，还会按变压器装设容量收取基本电价，基本电价以35元/kVA·月缴纳时，三类系统基本电费差异见表8。

2N、DR、RR系统基本电费统计表 表8

2N系统变压器装设容量最多，RR系统变压器装设最少，2N系统基本电费是RR系统基本电费的1.6倍，2N系统比RR系统每年多缴纳315万元基本电费，多缴纳的基本电费约占项目年用电费用(包括电度电费和基本电费之和)的4.3%左右。

因此，建议数据中心规划者、建设者根据数据中心规模、负荷增长速度等选择电费缴纳形式、选择供配电系统形式。

4 其他

4.1 运维难度

数据中心工程可以说是“三分建设、七分维护”，基础设施的运行维护对数据中心项目安全运行至关重要。系统构架简单、维护便捷、运维难度小是数据中心供配电系统规划阶段就应该关注的要点，且运维难度和供配电系统构架的复杂程度密切相关，系统中环节越少、电源切换关系越简单、闭锁越少的系统运维难度越低。

2N系统构架简单，是国内最常用的供配电系统，小到楼堂会所、大到百万平方米级别的大型工厂的10kV及以下配电系统中都有最广泛的应用。该系统环节少，仅市电和发电电源、10kV母联备自投、0.4kV母联备自投、末端设置的ATS存在电源切换，切换环节的闭锁也多为广大电气运维人员所熟知的备自投或ATS。简单的构架、广泛应用所积累的运行维护经验都降低了2N系统的运行维护难度，使其成为本文讨论的三类供配电系统中运维难度最低的、运维最为便捷的系统。

DR系统较2N系统稍复杂，系统是3套供配电单元间的切换，增加了每台变压器前两路10kV电源的切换环节和闭锁要求，减去了变压器低压侧母联的备自投功能和闭锁要求。

RR系统最为复杂，较之2N系统，增加了每台变压器前两路10kV电源的切换环节和闭锁要求；末端配电处增加了STS环节，增加了当一组STS切换至备用电源供电时由此备用源供电的其他STS需关闭自动切换功能的闭锁要求；增加备用变压器仅能为一台使用变压器提供备用电源的闭锁要求；上述闭锁功能复杂、接线点分散，需设置冗余的PLC实现此功能，但PLC的出现也间接增加了建设成本和运维难度。

如上，运维难度由低到高依此为2N系统、DR系统、RR系统。较之2N系统，DR系统运维难度稍高，RR系统运维难度则有很大的增加。

4.2 一次故障下的供电配电系统

(1)故障影响的范围

供配电系统内部最容易发生故障的环节为电源转换的环节，如UPS、变压器。

2N系统中，10kV以下共设置4个供电单元，任何一个供电单元内的UPS、变压器等环节故障时，仅故障单元受到影响，影响范围小。就IT设备而言，一次故障影响1/3的IT设备的供电系统，且其他未故障系统不受此故障的影响和制约。

DR系统中，10kV以下共设置3个供电单元，单元内故障不影响、不制约其他两个未故障的供电单元。就IT设备而言，一次故障影响1/2的IT设备的供电系统。

RR系统中，10kV以下为1个N+1配置的供电单元，任意一点故障时，整个供电系统都会受到影响。如一台变压器故障时，备用变压器投入运行、替代故障变压器继续向负载供电，单其他未故障环节均需进行闭锁，以避免二次故障时事故扩大。

(2)故障造成设备状态变化程度

设备状态变化越大，对设备造成的冲击越大，变化带来的冲击会降低设备的可用度。

以UPS为例，当一组UPS故障时，处于冗余状态的UPS负载率的变化如下：2N系统中，UPS负载率由37%增加至74%；DR系统中，UPS负载率由55.6%增加至83.4%；RR系统中，UPS负载率由0%增加至74%。

(3)故障后系统的可用度

2N系统10kV以下一次故障后，1/4负载可用度降低为单路供电状态，3/4负载仍具备原有的高可用度。

DR系统10kV以下一次故障后，1/3负载可用度降低为单路供电状态，2/3负载仍具备原有的高可用度。

RR系统10kV以下一次故障后，所有负载负载可用度降低为单路供电状态。

(4)应对多重故障的能力

2N系统10kV以下共设置4个供电单元，最多能应对4个分布在不同供电单元的故障。

DR系统10kV以下共设置3个供电单元，最多能应对3个分布在不同供电单元的故障。

RR系统10kV以下为1个N+1配置的供电单元，仅能应对一次故障。

如上，从故障影响范围、未故障的冗余设备替代故障设备继续供电时的风险、故障后的可用度和应对多重故障的能力角度考虑，2N系统最优，RR系统最差。

5 结束语

数据中心常用高可用供配电系统包括2N、DR、RR三种。其中，2N系统具有高可用度、结构简单、运维便捷等特点，但其建设和基本电费的支出偏高。DR系统可用度、结构复杂程度、运维难度、基本电费支出等在三个系统中均处于中间水平，其还具有建设成本低、系统运行损耗小等优点，但其系统在负载分配、设备和线路物理位置冗余等方面需要在数据中心规划和设计阶段重点考虑。RR系统造价较低，但其可用度、维护便捷性、抗灾能力方面也相对较低。