APP下载

云计算平台技术及其在电网调度中的应用

2015-11-17王鼎钱科军高一丹赵慧俞瑜秦舒斐

电网与清洁能源 2015年4期
关键词:分布式计算调度网格

王鼎,钱科军,高一丹,赵慧,俞瑜,秦舒斐

(国网苏州供电公司,江苏 苏州 215004)

云计算平台技术及其在电网调度中的应用

王鼎,钱科军,高一丹,赵慧,俞瑜,秦舒斐

(国网苏州供电公司,江苏 苏州 215004)

计算平台主要作用是为科学研究、工程项目提供数值计算、数据存储等服务。数值天气预报、石油勘探、生物信息处理等实际应用都需要每秒执行数十万亿次、乃至数百万亿次浮点运算的计算平台。面对大量设备的海量遥信、遥测数据,电力调度中心也急需功能强大的核心计算平台[1-4]。

未来的电力调度中心面临的一个重大挑战是数据存储和分析能力的严重不足[5]。现有的数据采集与监控(SCADA)系统在采集数据时一般止于变电站级别,且数据采样频率较低。在未来的智能电网发展过程中,不仅SCADA系统的采样频率明显提高,电力调度中心数据采集的范围也将大大扩展。相量测量单元(PMU)、需求侧智能设备(包括智能电表、各种智能家电的嵌入式系统)等都可能向调度中心提供大量的实时信息。由上述各种传感器所组成的数据采集网络所产生的数据量将是非常惊人的,电力调度中心现有的信息处理能力不足以完成对海量数据流的存储和分析功能,也不足以支持智能电网的实现。构建新的电力调度控制中心计算平台就成为值得考虑的重要问题。

计算平台发展经历了由小规模到大规模,由集中式到分布式的发展历程。云计算(cloud computing)是近年来得到快速发展的一种崭新的计算模式,是若干新计算技术的统称。云计算的本质是基于网络的大规模分布式计算。云计算在电力系统的应用研究还处于起步阶段。文献[6]提出了电力系统云计算的设计层次和应用模式,文献[7]展望了云计算在调度计算分析领域——PAS(高级应用软件)方面的应用前景,文献[8]介绍了云计算技术在绝缘子状态监测中的应用。分析国内外研究进展,基于云计算技术的电网调度控制系统目前还处于探索研究阶段。本文提出了基于云计算的调度控制系统原型概念设计,通过建立电网调度云计算平台,有效整合电力调度中心中现有的计算资源,为各种分析计算任务提供强大的计算与存储能力支持。

本文在引入云计算平台概念之前,先阐述了传统计算平台发展过程中的几项重要技术:并行计算技术、分布式计算技术、网格计算技术,最后提出了基于云计算的电网调度控制系统的原型概念设计。

1 传统计算平台技术综述

传统计算平台发展历程从整合同构资源的并行计算到整合异构资源的分布式计算直至整合广域异构资源的网格计算,而且这些计算平台发展技术相互渗透、相互影响。

1.1 并行计算

并行计算[9-10](parallel computing)是指:在并行机上,将一个应用分解成多个子任务,分配给不同的处理器,各个处理器之间相互协同,并行地执行子任务,从而达到加速求解速度的目的。组成并行机的3个要素为:

1)结点。每个结点由多个处理器(CPU)构成,可以直接输入输出。

2)互联网络。所有结点通过互联网络相互连接相互通信。

3)内存(memory)。内存由多个存储模块组成,这些模块可以如图1所示,与结点对称分布在互联网络的两侧,或者位于各个结点的内部。

1.2 分布式计算

分布式计算是指通过若干网络互联的计算机,将需要进行大量计算的项目数据分割成小块,由多台计算机分别计算,再上传运算结果后统一合并得出数据结论[11]。图2说明了分布式系统与并行系统的差异。其中图2(a)是典型的分布式系统的图示。通常系统被表示成一种用节点(顶点)代表计算机、直线代表计算机连接的图。图2(b)是图2(a)的细化:每台计算机都有各自的本地内存,并且只通过节点间的可用通信连接交换数据。图2(c)是一个各处理器都连接到同一个共享内存的并行系统。图2(c)与图2(b)进行对比,形象地展示了并行系统与分布式系统的差别。

图1 并行机体系结构示意图Fig.1 Parallel computer architecture

图2 分布式系统与并行系统的差异Fig.2 The difference between distributed computing system and parallel computing system

1.3 网格计算

将地理上分布的计算资源(包括数据库、贵重仪器等其他的各种资源)充分利用起来,通过互联网联接,提供各种服务(例如读取文件和创建进程等),协同解决复杂的大规模问题——这就是网格计算(grid computing)的定义[12]。网格计算实质上是一种大规模分布式计算。虚拟化组织是网格计算的核心。通过网格计算环境形成的统一的“虚拟组织”(virtual organization,VO)(见图3),各组织拥有的虚拟化存储、虚拟化硬件、虚拟化数据、虚拟化应用程序等各种资源可以被虚拟组织中的成员共享,并且各成员可以方便地协同完成各种分布式应用和工作。此处关注的共享是对计算机、软件、数据和其他资源的直接访问。

图3 网格计算中的“虚拟组织”Fig.3 The virtual organization in grid computing

2 云计算平台

2.1 云计算的定义

云计算平台本身不是一个全新的概念[13],是在并行计算、分布式计算、网格计算等计算平台的基础上发展而来的。IBM公司于2007年底宣布了云计算计划,使云计算的概念出现在大众面前。IBM的技术白皮书“cloud computing”中的云计算定义:“云计算”一词用来同时描述一个系统平台或者一种类型的应用程序。

1)在描述平台方面,一个云计算的平台按需进行动态部署(provision)、配置(configuration)、重新配置(reconfigure)以及取消服务(deprovision)等。在云计算平台中的服务器可以是物理的服务器或者虚拟的服务器。高级的计算云通常包含一些其他的计算资源,例如存储区域网络(SANs)、网络设备(防火墙等)以及其他安全设备等。

2)在描述应用方面,它描述了一种可以通过互联网Internet进行访问的可扩展的应用程序。云应用程序使用大规模的数据中心以及功能强劲的服务器来运行网络应用程序与网络服务。任何一个用户可以通过合适的互联网接入设备以及一个标准的浏览器就能够访问一个云计算应用程序。

上述定义给出了云计算2个方面的含义:一方面描述了基础设施,用来构造应用程序,另一方面描述了建立在这种基础设施之上的云计算应用。一般认为,云计算代表了一种基于Internet的大规模分布式的计算模式。云计算首先利用Internet将各种广域异构计算资源整合,以形成一个抽象的、虚拟的和可动态扩展的计算资源池;再通过Internet向用户按需(on demand)提供计算能力、存储能力、软件平台和应用软件等服务。为了完成功能,用户只关心需要的服务。在这里云就是互联网。

2.2 云计算与网格计算的对比

云计算与网格计算本质上是一种分布式计算,实现在Internet情况下支持应用,解决异构性、资源共享等问题。下面从3个方面比较两者的不同之处。

首先,在对待虚拟组织上不同。网格计算的思路是聚合分布资源,支持虚拟组织,提供高层次的服务,例如分布协同科学研究等。而云计算的资源相对集中,主要以数据中心的形式提供底层资源的使用,并不强调虚拟组织的概念。

其次,设计目的不同。网格计算的初衷是用聚合资源来支持挑战性的应用,将分散的有限的高性能计算资源聚合起来;到了2004年以后,网格计算才开始逐渐强调适应普遍的信息化应用。但云计算从一开始就支持广泛企业计算、Web应用,普适性更强。

第三,在对待异构性方面不同。网格计算用中间件屏蔽异构系统,力图使用户面向同样的环境,把困难留在中间件,让中间件完成任务。而云计算实际上承认异构,用镜像执行,或者提供服务的机制来解决异构性的问题。

总之,云计算是以相对集中的资源,运行分散的应用(大量分散的应用在若干大的中心执行);而网格计算则是聚合分散的资源,支持大型集中式应用(一个大的应用分到多处执行)。

2.3 云计算平台的网络拓扑结构

从网络拓扑结构(见图4)角度看,云计算系统大体上可以分为两大部分:

图4 云计算平台的网络拓扑结构Fig.4 The network topology of cloud computing platform

1)云计算控制中心。

2)被云计算平台整合的各种计算资源。

云计算控制中心提供了强大的数据处理和交互能力。云计算控制中心是由应用服务器、WEB服务器、通信服务器、数据库服务器以及公用访问接口、应用软件、接入网和客户端程序等多个部分组成的复杂系统,通过应用软件对外提供数据存储和业务访问等服务。被整合的计算资源可以是分布在不同地理位置的服务器、台式机、传感器和其他数据采集设备等。用户可以通过笔记本电脑、手机等智能终端访问云计算平台。

2.4 云计算平台的系统软硬件架构

从系统软硬件架构[14](见图5)角度看,云计算平台软件架构主要由WEB层、负荷分配层、数据管理层、计算逻辑层组成;硬件架构主要由物理计算设备层和物理存储设备层、通信网络、数据采集设备等组成。

图5 云计算平台的软硬件系统架构Fig.5 The hardware and software architecture of cloud computing platform

WEB层负责实现云计算平台的WEB站点,该站点是用户访问云计算平台的唯一接口。负荷分配层是云计算平台的核心部件,也是云计算控制中心的核心。该层具有4个主要功能:①将用户的计算任务划分成若干部分,并决定执行每一个任务的计算设备;②将待存储的数据划分成若干部分,并决定相应的存储设备;③将计算逻辑层返还的计算结果整合后,再反馈给用户;④根据数据读取请求,指令数据管理层读取数据,并将数据整合后输出。计算逻辑层负责根据负荷分配层确定的计算任务分配方式,控制具体的计算设备进行计算,并在计算完成后返还结果。数据管理层则主要控制数据存储设备进行数据读写操作。上述4层组成了云计算平台的软件部分。物理计算设备层和物理存储设备层代表了云计算平台所整合的所有物理设备,它们与数据采集设备、用户访问接口设备一同组成了云计算平台的硬件部分。

3 基于云计算的电网调度控制系统原型概念设计

3.1 系统整体架构

为实现统一电网、统一调度模式,2015年国家电网公司全面开展智能电网调度控制系统D5000的实用化工程推广。在这一背景下,提出了基于云计算技术的省地一体化电网调度控制系统的原型概念设计,以利用云计算技术的优势,实现各级调度机构的协同工作,为电网调度的集约化管理、事故与风险防御提供有效支撑。

该系统采用公有云、私有云相结合的混合云体系结构,兼顾功能与效率,可同时满足业务的实时性要求和分析类业务全网计算的要求,实现了调控体系的全局与局部的协调统一。图6所示为系统混合云体系结构。

图6 混合云体系结构Fig.6 The architecture of hybrid cloud computing

1)公有云是全省统一的云服务中心,包含电力系统一次设备模型,形成第一级集中式业务架构,包含模型云、数据云和应用云,服务于全局的集中式分析型业务。

①模型云按照“分布维护,统一管理,按需共享”的原则进行设计,构建全省模型中心,各区域分布维护电网模型,实时汇集到模型云服务中心进行统一管理,并从模型云服务中心按需获取满足具体应用业务需求的不同电网模型。

②数据云主要处理区域调控系统中的结构化与非结构化数据(包括实时数据、历史数据、控制数据、告警数据及消息、图形文档等二进制数据)。通过云数据分布式存储和高效访问,可以将实时数据、时序数据、关系数据等不同类型的数据有机整合、统一管理,形成统一的云数据服务。

③应用云是在模型云和数据云的基础上,对原先的系统应用功能进行了提升,这其中包括分布式数据采集集群、分布式数据处理以及基于云技术的电网监视,省地有功、无功协调控制,网络分析,安全校核,省地调安全稳定协同计算、一体化联合仿真培训等应用。实现了省地系统在应用层面上的联动和数据共享,突破了原有系统处理机制的局限,提高了调控人员的工作效率。

2)私有云根据地理位置、系统规模、运检维护、网络通信等因素进行区域划分,可在全省建设4到5个基于云技术的区域调控中心,形成第二级分布式业务架构,服务于区域的分布式实时业务。

系统充分调用了地级电力调度中心的存储设备、计算服务器、网络设备,通过虚拟化技术隔离和隐藏硬件细节,借助动态负载均衡与资源调配系统进行统一管理和调配,构成了功能强大的调度数据管理与服务基础云平台。图7为系统技术架构。

图7 基于云计算的调度控制系统技术架构Fig.7 The technical architecture of power dispatch and control system based on cloud computing

省级电力调度中心通过基础云平台高效地访问和调动所辖地级电力调度中心的各类资源,形成大规模的虚拟调度中心,以实现实时监控与分析、调度计划、调度管理三大核心调度业务应用的高效运转。

采用云计算构建的调度系统与传统方案构建的调度系统相比,在维护方式、资源利用、病毒防护、切换性能、故障概率、运维费用等方面性能均有较大提升[15],详见表1。

项目传统方案云计算方案维护方式逐一进行整体监测资源利用高低不一自动均衡病毒防护传统防护整体隔离切换性能秒级切换毫秒级切换故障概率经典水平有效提升运维费用高低

表1 传统方案与云计算方案性能对比Tab.1 The performance comparison between traditional solution and cloud computing solution

3.2 调度数据管理与服务基础云平台核心技术

调度数据管理与服务基础云平台采用了三项云计算技术:云虚拟化技术、云负载均衡与资源调配技术和云数据容错技术。

3.2.1 云虚拟化技术

一是通过虚拟化手段对各地调的物理计算机资源(存储设备、计算服务器、网络设备)进行抽象和统一管理,按照统一的规范,实现跨调度机构、跨实时/历史数据的整合与集中,实现省地两级调控机构资源的灵活分配。二是通过虚拟化手段建立对各级用户透明的资源访问机制,从而实现各地调与省调调度技术支持系统之间跨区域的资源透明访问。

3.2.2 云负载均衡与资源调配技术

该技术基于现有地调与省调调度技术支持系统网络结构之上,建立有效透明的方法均衡全局范围内各节点服务器的负载,总体提升系统处理能力,扩展网络设备和服务器的带宽,增加吞吐量,加强网络数据处理能力,提高网络的灵活性和可用性。

3.2.3 云数据容错技术

该技术分析各种软件硬件故障的容错机制和系统数据读服务能力,同时与调度业务一体化协调控制相结合,将云计算的数据多副本容错、计算节点同构互换等技术引入基于云计算的调度控制系统。

3.3 调度业务应用系统模块介绍

调度业务应用系统包括实时监控与分析、调度计划、调度管理三大模块。

3.3.1 实时监控与分析

一是充分利用云计算的信息处理能力以实现包括配电系统在内的大范围实时监控和信息采集。二是充分发挥云计算在计算和存储能力方面的优势,为大规模电力系统时域仿真提供技术支持。图8为云实时监控界面。

图8 云实时监控界面Fig.8 The interface of real-time monitoring based on cloud computing

3.3.2 调度计划制定

主要应用领域包括云负荷预测与云检修计划等。通过云计算整合存储能力与计算资源[18],为负荷预测与检修计划制定提供强大计算能力支撑。

负荷预测采用MapReduce计算框架[16-18],包含map阶段、合并阶段、reduce阶段,每个阶段的数据将以<键,值>的方式进行交换。计算框架如图9所示。

图9 MapReduce计算框架Fig.9 The computing framework of MapReduce

a)map阶段。首先将输入的数据集合分为若干个数据子集,数据用<key,value>表示。key是当前数据相对的偏移量,value值解析成当前数据各个维度的坐标值。基于局部最小距离算法计算出测试点与数据子集的最近k个中心点的距离,其运算中间结果将被放入中间库中。

b)合并阶段。该阶段的任务即将处理完后的数据进行本地层级合并。将中间键值对集合重新排序产生一个新的二元组,相同的键值将被归为一类。

c)reduce阶段。reduce函数首先解析样本个数和相应节点各个维度累加的坐标值,计算出各个数据子集中离预测点最近的k个点,并基于混合高斯模型计算出各属性的加权值,该结果将被更新到分布式文件系统中并进行下一次迭代直至算法收敛。

3.3.3 调度管理

运用领域主要集中在面向多级调度机构的搜索引擎建立与运行信息整合这两方面。云搜索引擎通过建立索引词库和索引调用机制,实现索引效率优化,最终提升整体查询效率。云信息展示满足各级调度信息共享互调、随需定制。

4 结论

云计算技术是在并行计算技术、分布式计算技术、网格计算技术等传统计算平台技术的基础上发展而来的。云计算不强调虚拟组织,支持广泛的企业应用,承认异构,具有计算控制中心,并能整合分布式计算资源。建立基于云计算的调度控制系统,有助于实现大电网多级调度管理一体化。该系统采用公有云、私有云相结合的混合云结构,公有云负责全局集中分析业务,私有云负责分布式实时业务。云虚拟化技术、云负载均衡与资源调配技术和云数据容错技术是调度数据管理与服务基础云平台的核心技术,为实时监控与分析、调度计划制定与调度管理等调度业务应用系统模块提供技术支撑。总之,构建云计算平台将是未来电力调度控制系统构建的一个重要发展方向。

[1]王惠中,侯璟琨,赵凯,等.基于云计算的电力系统扩展短期负荷预测[J].电网与清洁能源,2014,30(6):1-4.

WANG Huizhon,HOU Jingkun,ZHAO Kai,et al. Extended short-term load forecasting in power system based on the cloud computing[J].Power System and Clean Energy,2014,30(6):1-4(in Chinese).

[2]THOMAS ERL.Cloud computing:concepts,technology& architecture[M].Englewood Cliff:Prentice Hall,2013:7-10.

[3]IRVING M R,TAYLOR G A,HOBSON P.Plug in togrid-computing[J].IEEE Power and Energy Magazine,2004,2(2):40-44.

[4]王英涛,张传凯,李旻,等.PMU在线分析系统计算平台技术研究[J].电网与清洁能源,2013,29(6):1-5.

WANG Yingtao,ZHANG Chuankai,LI Min,et al.Research on the computation platform technology for the PMU on-line application system[J].Power System and Clean Energy,2013,29(6):1-5(in Chinese).

[5]宋亚奇,周国亮,朱永利.智能电网大数据处理技术现状与挑战[J].电网技术,2013,37(4):927-935.

SONG Yaqi,ZHOU Guoliang,ZHU Yongli.Present status and challenges of big data processing in smart grid[J]. Power System Technology,2013,37(4):927-935(in Chinese).

[6]沐连顺,崔立忠,安宁.电力系统云计算中心的研究与实践[J].电网技术,2011,35(6):171-175.

MU Lianshun,CUI Lizhong,AN Ning.Research and practice of cloud computing center for power system[J]. Power System Technology,2011,35(6):171-175(in Chinese).

[7]赵俊华,文福拴,薛禹胜,等.云计算:构建未来电力系统的核心计算平台[J].电力系统自动化,2010,34(15):1-8.

ZHAO Junhua,WEN Fushuan,XUE Yusheng,et al. Cloud computing:implementing an essential computing platform for future power system[J].Automation of Electric Power Systems,2010,34(15):1-8(in Chinese).

[8]白红伟,马志伟,朱永利.基于云计算的绝缘子状态监测数据的处理[J].电瓷避雷器,2011,4(242):19-22.

BAI Hongwei,MA Zhiwei,ZHU Yongli.The processing of the insulator state monitoring data based on cloud computing[J].InsulatorsandSurge Arresters,2011,4(242):19-22(in Chinese).

[9]张林波,迟学斌,莫则尧,等.并行计算导论[M].北京:清华大学出版社,2006:10-12.

[10]曾祥智,肖丽雄,黄德华.PC集群并行无功优化[J].电力电容器与无功补偿,2013,34(4):11-24.

ZENG Xiangzhi,XIAO Lixiong,HUANG Dehua.PC cluster parallel reactive power optimization[J].Power Capacitor&Reactive Power Compensation,2013,34(4):11-24(in Chinese).

[11]郭宗军,刘少宇,赵文彬,等.变电设备管理及绝缘诊断专家系统的开发[J].高压电器,2002,38(1):1-7.

GUO Zongjun,LIU Shaoyu,ZHAO Wenbin,et al.Developing an expert system for management and insulation diagnosis of power equipment[J].High Voltage Apparatus,2002,38(1):1-7(in Chinese).

[12]都志辉,李三立,陈渝,等.网格计算及其原型实现研究[J].计算机科学,2002,29(8):1-5.

DU Zhihui,LI Sanli,CHENG Yu,et al.Research on grid computing and prototype grid implementation[J].Computer Science,2002,29(8):1-5(in Chinese).

[13]陈康,郑纬民.云计算:系统实例与研究现状[J].软件学报,2009,20(5):1337-1348.

CHEN Kang,ZHENG Weimin.Cloud computing:system instances and current research[J].Journal of Software,2009,20(5):1337-1348(in Chinese).

[14]胡波,万松森,郝佳,等.基于云计算的火电仿真平台[J].热力发电,2013,42(2):95-97.

HU Bo,WAN Songsen,Hao Jia,et al.Cloud computing based thermal power simulation platform[J].Thermal Power Generation,2013,42(2):95-97(in Chinese).

[15]陈铭.电力系统“调度云”关键技术的研究与实现[D].南宁:广西大学,2013.

[16]张浩,和敬涵,尹航,等.电网孤岛重构的云计算策略[J].中国电机工程学报,2011,31(34):78-84.

ZHANG Hao,HE Jinghan,YIN Hang,et al.Power grid islands service restoration based on cloud computing[J]. Proceedings of the CSEE,2011,31(34):78-84(in Chinese).

[17]张素香,赵丙镇,王风雨,等.海量数据下的电力负荷短期预测[J].中国电机工程学报,2012,34(1):1-6.

ZHANG Suxiang,ZHAO Bingzhen,WANG Fengyu,et al.Short-term power load forecasting based on big data[J]. Proceedings of the CSEE,2012,34(1):1-6(in Chinese).

[18]万至臻.基于MapReduce模型的并行计算平台的设计与实现[D].杭州:浙江大学,2008.

(编辑 冯露)

Cloud Computing Platform Technology and Its Application in Power Grid Dispatch

WANG Ding,QIAN Kejun,GAO Yidan,ZHAO Hui,YU Yu,QIN Shufei
(State Grid Suzhou Power Supply Company,Suzhou 215004,Jiangsu,China)

计算平台技术是对海量数据进行高效可靠的存储、访问以及分析处理的核心技术。详细分析了传统计算平台技术,包括并行计算技术、分布式计算技术、网格计算技术。在此基础上引入了云计算平台的概念。从定义介绍、网络拓扑、软硬件架构等方面对云计算平台进行了详细论述,并比较了云计算同网格计算的不同之处。最后,提出了基于云计算平台的新一代电网调度控制系统的原型概念设计,并从系统整体架构、基础云平台核心技术和业务应用模块3个方面对该系统进行了阐述。该系统充分发挥了云计算的技术优势,将全局性集中式分析业务与区域性分布式实时业务有机整合,实现了电网调度的集约化管理。

云计算;并行计算;分布式计算;网格计算;调度控制系统

Computing platform is the core technology of highly efficient and reliable storage,access,analysis and processing for massive data.This paper presents a detailed analysis of the traditional computing platform technology including the parallel computing,distributed computing and grid computing. On this basis,the paper introduces the concept of cloud computing,giving a detailed description of the cloud computing platform from aspects of concept,network topology,hardware and software architecture and differences between the cloud computing and the grid computing.The prototype of a new power dispatch system based on the cloud computing platform is introduced.The system is discussed from aspects of overall structure design,core technology of the basic cloud computing platform and service application module.Taking full advantages of the cloud computing technology,the system integrates the globe centralized analysis service and regional distributed realtime service to realize the intensive management of the power grid dispatching.

cloud computing;parallel computing;distributed computing;grid computing;power dispatch and control system

1674-3814(2015)04-0072-07

TM734

A

2015-01-21。

王鼎(1986—),男,硕士,研究方向为调度自动化;

钱科军(1981—),男,博士后,研究方向为调度自动化;

高一丹(1986—),女,硕士,研究方向为电力系统自动化。

猜你喜欢

分布式计算调度网格
用全等三角形破解网格题
《调度集中系统(CTC)/列车调度指挥系统(TDCS)维护手册》正式出版
基于强化学习的时间触发通信调度方法
反射的椭圆随机偏微分方程的网格逼近
一种基于负载均衡的Kubernetes调度改进算法
虚拟机实时迁移调度算法
重叠网格装配中的一种改进ADT搜索方法
基于云计算的移动学习平台设计与实现
云计算中MapReduce分布式并行处理框架的研究与搭建
基于曲面展开的自由曲面网格划分