赵丹，杜战朝，李丹丹，赵菲菲，张馨以

（电力规划总院有限公司，北京 100120）

1 研究背景

能源大数据是将电力、石油、煤炭等能源领域数据以及人口、地理、气象等诸多领域数据，进行综合采集、处理、分析与应用，是实现政府能源监管、提升企业运行效率、推进能源信息社会共享的重要手段[1-2]。大数据技术已在能源各领域开展了广泛的研究与应用。在能源规划领域，已辅助开展能源需求预测、能源规划研究等工作[3]；在能源生产领域，已应用于电站运行监测[4]、可再生能源发电功率预测[5]、跨区域新能源消纳[6]等方面；在能源消费领域，已开展基于大数据的用户侧能源管理[7]、并行负荷预测[8]等研究。

目前能源大数据在应用中存在流通共享机制尚不成熟、数据来源相对狭窄、技术标准不一等问题，同时支撑能源宏观管理层面的研究与应用还相对薄弱，影响了中国能源行业监管效率和科学决策效果。本文立足于面向能源宏观管理，开展能源数据获取渠道研究，提出了能源管理大数据数据指标构建基础框架；针对能源大数据采集、存储、分析关键技术开展研究，提出能源管理大数据平台总体架构，支撑高效采集和有效整合；同时基于能源监测预警、能源规划研究、能耗双控管理等场景开展应用分析，为能源管理大数据技术应用提供参考。

2 能源管理大数据获取与指标体系构建研究

2.1 数据获取渠道研究

结合能源管理需求梳理大数据主要获取渠道，目前主要是政府渠道、行业协会、能源企业、科研机构、互联网与国际机构等。

政府渠道主要包含国家及各地统计局、自然资源部、海关总署等具有能源统计职能的部门或单位。可通过网站、年鉴、报告、报表等方式定期获取宏观经济、能源资源、生产、消费、价格、进出口、效率、能源平衡等反映国家及地区能源发展总体情况的数据。该渠道为当前能源管理大数据最可靠的数据来源，但存在发布时间滞后、高频数据占比较少的问题。

行业协会渠道主要包括中国电力企业联合会、中国煤炭运销协会、中国石油和化学工业联合会等，通过其定期发布的统计数据、开放的商业用途数据库等方式，获取分行业能源生产、消费、效率、价格等体现行业发展状况的数据指标，该来源与政府渠道均为能源管理大数据获取的最直接来源。

能源企业渠道主要包括各大发电、电网、煤炭、油气、新能源等企业，主要通过数据上报、已有平台数据接入等方式获取企业生产经营过程中产生的产量、销量、库存、能耗、能源项目进展等数据。该渠道数据丰富，高频数据占比高，可作为能源数据获取的重要补充。

科研机构层面，通过高校、科研院所、能源企业下属研究机构等科研机构发布的研究报告、能源发展报告等可以获取能源发展与预测相关的数据。

互联网层面，通过对各类能源统计、能源资讯网站自动爬取以及购买商业数据库等方式获得能源观点与舆情类信息。

国际数据获取渠道重点包含联合国、世界银行、ⅠMF、BP、ⅠEA、EⅠA 等，可通过其对公开的网站信息、年鉴等，以直接下载或数据库购买的方式获取，可以获得世界各国各品种能源储量、能源生产、能源消费、能源平衡、能源进出口、能源价格、碳排放等国际能源数据。

能源管理大数据获取渠道如表1 所示。

表1 能源管理大数据获取渠道

2.2 指标体系构建

2.2.1 构建原则

能源数据指标体系是建立在能源系统流程的基础上，以准确反映能源供应、流通和消费等全过程。构建中应遵循系统性、可操作性、可比性、开放性原则。系统性原则是指体系要能全面反映能源发展状况，兼顾能源流转全过程。可操作性原则是指需考虑指标是否能方便、准确地采集到基础数据。可比性原则是指指标体系设计需考虑指标纵向和横向的比较、分析需求，指标之间要具有可比性。开放性原则是指能源统计指标体系应是一个开放性的系统，通过不断修改完善，从而更客观、更真实地反映能源供应、生产和消费等各种情况。

2.2.2 指标体系

按照GB/T 4754—2017《国民经济行业分类》[9]、《能源统计报表制度》等国家相关制度与标准的规定，遵循上述构建原则，结合相关数据实际状况及应用价值开展能源指标体系构建研究，将能源品种、能源流转各环节、能源数据应用场景等进行梳理分类，形成如图1 所示的能源指标体系。

图1 能源管理数据指标体系

第一层按照能源流转环节，能源供应、流通和消费等全过程进行分类，主要包含了宏观经济、能源资源、能源生产与运输、能源贸易与库存、能源消费、能源建设、能源价格、能源效率与环境、能源项目、能源规划与国际能源。

第二层基于能源品种进行分类，主要是煤炭、石油、天然气、非化石能源与电力。

第三层主要基于能源细分品种、行业与区域3 个不同维度进行指标的梳理。其中能源细分品种，煤炭细分为煤炭与焦炭，石油细分为原油和成品油，天然气包含管道天然气、液化天然气等常规天然气与页岩气、煤层气等非常规天然气，非化石能源细分为核能、水能、风能、太阳能、生物质能、地热能与海洋能，电力细分为水电、火电、核电、风电、太阳能及其他。行业主要按照GB/T 4754—2017《国民经济行业分类》进行汇总，区域按照国家统计局公开的《统计用区划代码和城乡划分代码》标准执行。

3 能源管理大数据平台基础体系架构

能源管理大数据平台应为能源数据的采集与融合、存储及处理、分析与计算等提供基础平台和支撑技术[10]。根据建设应用的范围和管理的层次，以业务为核心需求，充分考虑系统的高可用性、实用性、可维护性、先进性、可扩展性和安全性等各方面因素，设计形成能源管理大数据平台的通用技术架构。平台根据多层架构模式进行设计，应用技术架构按照后端服务化、前端工具化、业务场景化等设计原则完成整个技术系统构建。总体架构从下至上共分为5 层：基础设施层、数据接入层、数据存储管理层、平台支撑层、平台应用层。具体框架如图2 所示。

图2 能源管理大数据基础体系架构

基础设施层：主要指建设单位现有基础设施，包含服务器设施、网络设备、安全设备、操作系统、数据库系统、存储设备等。

数据服务层（数据接入、数据存储管理）：包括数据来源、数据处理、数据存储3 部分，同时对上层提供通用的访问服务。其中数据来源主要包含物联网设备、互联网数据、第三方数据接口、企业填报数据、现有历史数据库等，基于此数据源，大数据平台将提供丰富的数据处理手段，利用数据清洗、数据抽取、数据治理等方法，实现数据的存储、管理及维护。

平台支撑层：根据能源大数据应用场景，组合形成服务器组件为各应用提供支撑，具体包括界面组件、接口组件、基础设施组件、可视化组件、全文检索组件等。层内的各服务组件均可独立对上层工具提供服务，也可独立访问下层数据；同时服务之间也可以相互组合调用，构成新的服务。

平台应用层：包括基础应用、高级应用、综合展现等，其中基础应用包括数据整合、模型计算、数据分析与挖掘等。高级应用包含能源监测预警、能源规划管理、能源双控管理。

4 能源管理大数据关键技术

4.1 大数据采集技术

能源大数据不仅包含能源类数据，还包含了大量其他类别的结构化/非结构化数据，如资源环境、经济社会数据等。同时，能源大数据是多源的，其形式是多模态的，从而导致能源数据的采集很难形成一个统一的接口和标准。因此，能源数据采集技术的关键是数据源的选择、多源数据的实体识别和解析、数据清洗和自动修复、高质量的数据整合[11]。适用的大数据采集技术有ETL 技术、数据填报技术、APⅠ数据接口技术、网络爬虫技术和物联网数据采集技术等。

ETL 技术：用来描述从来源端经过抽取、转换、加载至目的端的过程，有利于多种异构数据源的连接和海量数据的快速处理，流程清晰。常见的国外ETL软件包括Ⅰnformatica、Datastage、Kettle、Talend 等，国内ETL 软件包括TurboDX、Taskctl、DataX 等。

数据填报技术：区别于传统的使用Excel 进行数据汇总和填报的方式，数据填报技术采用专业的报表工具进行数据填报。

APⅠ数据接口技术：该技术主要指WebService 接口。WebService 是一个SOA（面向服务的编程）的架构，不依赖于语言和平台，可以实现不同的语言（通过xml 描述）间的相互调用，通过Ⅰnternet 进行基于Http 协议的网络应用间的交互。

网络爬虫技术：网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。网络爬虫按照系统结构和实现技术，大致可以分为通用网络爬虫、聚焦网络爬虫、增量式网络爬虫和深层网络爬虫。

物联网数据采集技术：借助综合感知设备采集能源数据，包括燃气网、热力网、电网等来源的信息，如储能、微燃机、空气源热泵、太阳能热、生物质能、电动汽车充电桩等信息。

4.2 大数据存储技术

高效、可靠、低成本的存储与管理模式是能源大数据技术选型的关键因素，更是进行后续深度挖掘、科学分析的基础和保障。能源管理大数据平台除了有大量的结构化数据外，还存在视频、图像、地图等半结构化、非结构化数据，为有效存储不同类型数据，需要考虑多种存储技术。

结构化数据存储技术：结构化数据又称为行数据，是高度组织和整齐格式化的数据，通过二维表结构进行逻辑表达和实现[12]。该种类型数据主要通过关系型数据库进行存储和管理。关系型数据库是指采用了关系模型来组织数据的数据库。关系模型即为二维表格模型，所以关系型数据库也可以理解为一个由二维表及其之间的联系所组成的数据组织。目前，商业数据库管理系统以关系型数据库为主导产品，技术比较成熟，有MySQL、SQL Server、Oracle、PostgreSQL、SQLLite 等。

时间序列数据存储技术：随着物联网技术的不断发展，能源领域出现了大量物联网数据，这些物联网实时监测数据一般具有实时、海量、价值密度低等特点。这类数据被称为时间序列数据，是一种具有时序特征的高维数据类型，按时间先后顺序排列的不同时间点对特定物理量的值进行采样而构成。关系型数据库无法支撑此类数据的有效存储与处理，而时间序列数据库正是设计用来高效存储时间序列数据的。时序数据库具有持续高性能写入、高性能查询、低存储成本、支持海量时间线、弹性伸缩等特点。随着移动互联网、大数据、人工智能、物联网、机器学习等相关技术的快速应用和发展，侧重不同时序数据需求的数据库被业界使用，如OpenTSDB、ⅠnfluxDB、TimeScale 等。

空间地理数据存储技术：地理数据库是应用计算机数据库技术对地理数据进行科学的组织和管理的硬件与软件系统。地理数据库属于空间数据库，表示地理实体及其特征的数据具有确定的空间坐标，为地理数据提供标准格式、存贮方法和有效的管理，能方便、迅速地进行检索、更新和分析，使所组织的数据达到冗余度最小的要求，为多种应用目的服务。地理数据库的目的是存储矢量和栅格。Esri Geodatabase 是最常见的地理数据库类型。

文档类数据存储技术：能源领域存在大量的文档类数据，包括相关的政策法规、标准规范、统计报表、科研成果报告、相关新闻资讯等。该类数据需要利用文档类专用的存储方案进行存储管理。目前常用的文档类数据存储方案主要依托于分布式文件系统进行存储，主流的分布式文件系统有GFS、HDFS、Lustre、GridFS、TFS、FastDFS 等。

4.3 大数据管理平台架构技术

4.3.1 微服务架构技术

能源管理大数据各应用平台采用微服务的架构进行搭建，利用大数据技术作为支撑，以主流开源微服务框架搭建平台各类基础服务与业务功能服务。同时采用前后端分离的模式进行开发，与传统模式相比，在可定制性、可扩展性、适配性、响应速度、整体性能方面均有显著优势。平台遵循J2EE 技术路线，采用面向服务架构（SOA），通过Web 服务接口实现与其他系统的集成。

4.3.2 数据可视化技术

大数据可视化是利用计算机图形学和图像处理技术将数据转换成显示在屏幕上的图形或图像，并进行各种交互处理的理论、方法和技术。能源管理大数据平台集成了海量多源异构的能源数据，为了更加直观清晰地展示数据和高效深入地挖掘数据，使用大数据可视化技术进行展示与分析。

常用数据可视化方式有表格、散点图、折线图、柱状图、饼图、面积图、流程图、泡沫图表、锥形树图、语义网络以及图表的多个数据系列或组合等。其中，空间地理数据通常采用GⅠS 数据可视化技术。目前主要的可视化工具有BⅠ类可视化工具（FineBⅠ、Tableau、PowerBⅠ等）、前端可视化开发框架（ECharts、D3.js、Highcharts 等以及GⅠS 可视化工具如Leaflet、OpenLayers 等）。

4.4 大数据分析技术

能源大数据的分析与挖掘是发掘数据价值、支撑优化分析、辅助科学决策的关键技术。对于规模巨大、结构复杂、变化迅速、价值稀疏的能源大数据，其处理亦面临计算复杂度高、任务周期长、实时性要求高等难题。为解决这些难题，不仅要引入互联网大数据处理技术来加强数据计算与处理能力，更需要立足能源系统业务需求，梳理分析能源行业工作特色，拓展创新能源领域的应用方向。

能源大数据的深度加工和有效表达需要借助专业的统计分析工具，主流的大数据分析方法有遗传算法、神经网络、回归分析、空间分析、时间序列分析等。业界较为常用的分析工具有Python、R、Matlab、SPSS、Excel 等。

5 能源管理大数据应用分析

5.1 能源监测预警

基于本文的能源管理大数据获取机制和平台架构，可支撑能源主管部门实现对管辖区域内电力、煤炭、石油、天然气等各类能源数据的采集及存储，基于大数据可视化分析技术实现按年度、季度、月度、日度等不同频度的能源运行态势分析，实时监测用电量、能源库存、能源价格等能源运行核心指标和重大事件，使能源管理者掌握能源宏观状况的同时，准确把握能源微观运行情况。同时，以海量历史能源数据、未来年份经济及社会发展数据为支撑，建立能源发展趋势预测预警模型，对能源运行和发展的演化趋势进行预期性分析评估，提前发现可能出现的问题和成因，为预先防范和及时采取化解措施提供科学依据，促进能源与经济社会协调发展。

5.2 能源规划管理

基于本文的能源管理大数据架构可以结合国家及省区级能源发展规划要求，分析回顾上期规划实施完成情况，以能源大数据为支撑客观评价规划实施效果，从能源总体规划、专项规划等不同维度开展本期规划目标管理、规划实施情况动态评估、能源规划项目进展监测等。在能源规划项目管理上，全面汇集各类能源项目的地理位置、生产能力、建设进度、核准状态、建设单位、项目类型、节能减排情况等关键信息，建立能源规划管理项目库，利用高清卫星影像对项目建设情况进行非现场监管，同时按照规划对项目准入及执行情况进行监管，并与国民经济其他规划、环境容量、资源承载力等信息进行衔接，进而科学引导能源项目规划建设，从源头上降低能源项目投资风险。

5.3 能耗双控管理

基于本文的能源管理大数据架构可以通过接入重点用能单位能耗、能源消费、用能权使用和交易等数据，提供能耗双控指标监测、能耗双控对标分析、能耗双控考核监察等功能。重点从能源消费总量及增速、单位GDP 能耗及下降率、各领域节能降耗情况、高耗能行业用能量等方面，分行业分区域监测能耗情况；基于重点监测指标，开展能耗对标分析；基于能耗大数据，提供能耗指标分解、考核监督情况统计、用能总量指标交易统计等功能，在能耗双控执行过程中，对农业、工业、建筑、交通、公共机构等各领域以及重点用能单位进行节能监察，科学指导能耗双控工作。

6 结语

随着国家数字化转型战略的推进及数字化技术的不断发展，能源大数据将在能源宏观管理决策中的发挥越来越重要的作用。本文研究了能源管理大数据主要获取渠道，提出了能源数据指标构建的总体框架，研究了能源管理大数据平台的总体架构及关键技术，分析了大数据在能源宏观管理中的几种典型应用，可为能源管理中大数据技术应用提供参考。后续，针对能源管理大数据应用场景拓展还有待开展深化研究。