张庆永 闫伟军 史绍星

：在当前的大数据时代下，关于电网线损的信息数据量越来越多，为了能够有效提高数据处理效率，同时进一步保障电网线损分析的精准性，可以专门针对电网线损分析搭建起相应的大数据平台。而其中所运用的各种关键技术则直接影响着电网线损分析结果。基于此，本文将通过结合相关研究资料，着重围绕基于大数据平台的电网线损分析关键技术进行简要分析研究。

：大数据平台; 电网线损分析; 关键技术;

本文通过探究基于大数据平台的电网线损分析关键技术，可以在帮助人们加深对大数据技术的理解与认知，并为相关研究人员提供必要理论参考的同时，也能够为如何利用大数据平台深化落实电网线损分析，确保分析结果精准有效给予相应的指导帮助。因此掌握大数据平台下的电网线损分析关键技术，也成为优化电网线损分析的一大重要前提。

1 大数据平台下的电网线损分析关键技术

1.1 大数据采集

在电力大数据平台中，通常将电网企业目前使用的关系数据库、数据仓库等作为其主要数据来源。在数据传输时，不仅要求在关系型数据库、分布式存储中，数据可以根据自身实际要求进行自由、灵活切换传输，同时也需要确保在众多数据同步传输时，平台仍然具有较高的数据传输效率，各项业务系统能够实现正常运行。考虑到在传统系统当中所采用的ETL抽取工具，基本只能简单完成同步各数据源，如文件与服务数据源的同步等，难以达到数据在关系数据库与分布式存储间的同步。因此需要适时将大数据采集技术运用其中，首先在进行数据抽取时，主要利用Sqoop负责抽取各系统间的数据，在Sqoop的作用下可以直接向Hadoop当中的Hive等数据存储组件，导入关系型数据库中的各项数据，而在此过程中，Sqoop也可以从Hadoop系统当中直接进行数据抽取，随后立即将其导入至对应的关系型数据库中。在完成数据抽取之后，需要对其进行“清洗”，即通过运用数理统计与数据挖掘等专门的数据清理规则，对脏数据进行转化，是指可以成为与电网线损分析要求相符的数据类型。最后通过立足具体电网线损分析要求转换导入其中的业务信息即可。例如通过将原本分散的若干变电设备信息进行统一合并，使之可以集成至同一设备信息表当中。而在数据挖掘关联分析或是对其进行离散化处理的过程中，转换原数据使之成为非连续性字典类别，再使用离散化数据实现数据挖掘关联即可。

1.2 大数据存储

为有效存储大数据平台中海量的电力数据信息，同时尽可能降低数据存储成本，为数据提供多样化的访问方式，需要相关工作人员结合实际情况，灵活采用适宜的大数据存储技术。例如当前较为常用的大数据存储技术有可以直接在分散存储介质上进行数据存储的HDFS分布式文件系统，该系统对外提供的所有文件访问接口均完全相同，其存储介质成本低廉并且系统容错性较好。HBase列式存储数据库，则主要采用列相关存储架负责批量完成数据存储与分析处理，同时支持用户随时根据自身需要进行数据查询。本文认为在具备电网线损精准分析功能的电力大数据平台中，针对其中存在的各种信息数据如用户用电信息、开关运行数据等，可以直接利用HDFS分布式文件系統对其进行临时存储，在后期数据处理程序执行分布式离线计算任务时，即可从分布式存储中直接调取其需要使用的相关数据即可。

1.3 大数据分析

基于大数据平台的电网线损分析当中，另一项至关重要的关键技术便是大数据分析技术，其直接影响着最终电网线损分析结果的有效性和精准性。虽然目前用于大数据分析的技术众多，包括分布式与内存计算技术等等，但为了有效提高海量信息数据的分析与处理效率，本文认为电力数据平台可以直接采用Hadoop离线分布式计算技术，代替传统的多次循环迭代算法，一次性完成所有电网线损相关数据的集中整理和深入分析。针对在分布式电网设备拓扑关联分析等当中，需要使用进行两次以上数据全量扫描的算法，则可以直接选择使用Spark内存计算技术。具体来说，大数据平台主要先通过运用聚类或关联分析等数据分析挖掘技术，对存在异常线损率的电力线路与台区进行精准识别，而后利用电网拓扑数据构建相应的电网拓扑分析模型，并以此为基础立足电网线损分析要求，建立起电网线损分析模型。

2 大数据平台下的电网线损分析应用实践

2.1 系统性能

以某省目前使用的大数据平台电网线损分析系统为例，该系统将该省电网营配调各系统数据作为接入数据，将省内全部能量节点2年时间历史数据接入其中，系统的数据存储容量可以达到12TB，此后每日系统数据量还将保持16GB的增长速度。在进行电网线损分析中，系统使用了Hadoop/Spark服务器集群作为大数据平台数据库，以此有效完成负载均衡。在该集群当中设置了一台Master节点，同时采用1：3的冗余比共计设置5台Slave节点。根据相关系统测试数据可知，在读取数据库规模由原本的1亿条，增长至8亿条时，Hadoop平台每一秒可以读取大约10万条数据，其每秒写入的数据条数也基本可以达到4万条。人体参加计算的数据规模，由原本的1000万条增至2.5亿条时，在运用Hadoop平台时，计算耗时增速较为缓慢。一般在数量级达到100万时，其计算耗时在100s左右，而当数量级增长至250万时，计算耗时也基本控制在150s左右。在Hadoop平台节点，由原本的4个增至6个时，计算时间还会出现明显缩短的变化趋势。

2.2 应用成效

整体来看，该省级大数据平台电网线损分析系统在实际运行过程中，通过灵活运用各种大数据关键技术，不仅能够精准识别线损的具体构成与出现线损异常情况的区域与元件，直接展示出线损出现的原因，同时在利用电网网架数据并对其进行深入挖掘分析下，可以为相关工作人员解决电网线损问题提供真实可靠的数据支持与参考依据。在积极将GIS地理信息系统引入其中下，电网企业管理人员也能够随时了解其辖区范围内的用电量与具体线损情况。例如根据系统给出的相关数据可知，在电压等级为220k V时，其线损率约为1.03%，而在电压等级为110k V时，分析得到的线损率为1.13%。在电压等级为35k V时，对应的电网线损率约为2.6%。此外，系统还以图表的形式直观清晰地向工作人员展示其分析的台区线损率异常原因，工作人员可直观了解到，缺采数、电网线路老化以及电网线路长时间超负荷运行是导致台区线损率出现异常的最主要原因。在根据GIS地图信息显示的具体线损异常区域下，工作人员可以及时、有针对地处理该区域中的线损异常问题。

总而言之，在基于大数据平台的电网线损分析中，大数据采集和存储技术、大数据分析与数据安全技术等，均为提高电网线损分析的有效性和精准性发挥了至关重要的帮助作用。因此工作人员在实际构建大数据平台下的电网线损分析系统中，还需要积极运用各项相关关键技术，以此充分发挥系统应有效用，切实解决电网线损问题。

[1]李端超，王松，黄太贵，等.基于大数据平台的电网线损与窃电预警分析关键技术[J].电力系统保护与控制，2018，46 （5） ：143-151.

[2]吴飞，付婷，陈倩，等.基于电网大数据的线损精细化分析的研究[J].现代信息科技，2018，2 （1） ：63-64.

[3]孙立华.基于Hadoop技术的电网线损分析系统研究与实现[D].南京：东南大学，2017.