刘南艳 贺敏 赵建文

摘 要： 电力行业是大数据应用的重要领域之一，电力系统每时每刻都在产生大规模、种类繁多的电力数据，面对海量数据，该如何将它们高效的处理和存储，并进行有效开发利用十分关键。因此，研究基于Hadoop云计算平台海量数据下的电力负荷预测方法，并在MapReduce编程框架的基础下，将K?Means算法进行改良和优化。实验结果表明，提出的方法是可行的，数据处理时间大大缩短，算法精度也能满足负荷预测的要求。

关键词： 大数据； Hadoop； 云计算； Mapreduce； 电力系统； 电力负荷预测

中图分类号： TN915.853?34； TP391 文献标识码： A 文章编号： 1004?373X（2018）20?0153?04

Abstract： Electric power industry is one of the most important fields of big data application. The power system is producing a great variety of large?scale electric power data all the time， and how to effectively process， store， develop and utilize the massive data is very important. Therefore， a power load prediction method based on massive data is researched using the Hadoop cloud computing platform. The K?Means algorithm is improved and optimized on the basics of the Mapreduce programming framework. The experimental results show that， the proposed method is feasible， has greatly?reduced data processing time， and its algorithm accuracy can meet the load prediction requirement.

Keywords： big data； Hadoop； cloud computing； Mapreduce； power system； power load prediction

0 引 言

随着电网建设速度的加快、规模的不断扩大、要求的不断提高，电网系统需要具有强大的数据分析和数据处理能力，这样才能保证电网的安全运行[1?2]。但是当前电力系统对数据的分析和处理所采用的是集中式的计算平台，这样的平台在面对海量数据时，如按常规系统10 000个遥测点，采样间隔3～4 s计算，每年能产生1.03 TB的数据，就会出现数据的储存和计算问题，并且它的扩展性能比较差[3]。本文采用Hadoop云计算平台，通过搭建完全分布式集群，在多个节点上对数据进行计算和处理，可以极大地提升数据处理效率。

多年来，电力负荷预测的方法不断出现，例如时间序列法、趋势外推法、神经网络、线性回归、小波分析法等。但这些方法仍然存在局限性。神经网络法很难避免在训练过程中的学习不足且收敛过慢[4]；时间序列法对历史数据准确性要求高，短期电力负荷预测时对天气因素不敏感，难以解决因气象条件、区域等因素造成的短期负荷预测不准确问题。……