曾麒杰，符晓洪，柳羿，何宽政，张升平

（深圳供电局有限公司，广东 深圳 518000）

电网公司涉及业务广泛，因此业务生成数据面和类别也比较多，包括结构化、地理信息以及海量时序测点数据等不同类型数据。基于多种类型数据共存的现象，需要构建一个可以实现数据综合分析利用的平台[1]。当前，在非结构化或半结构数据存储中，通常选用文件存储方式，没有实现关于文档、音频和视频等文件的检索功能，同时，对于不同数据的混合也无法实现深入挖掘分析。在此情况下，需要构建一个能够采集、存储、过滤大量低价值密度的数据对象，且可以针对数据实施分布式计算及各种算法，以此对其实施深入挖掘分析，从而提升数据利用价值，为公司管理决策提供支持[2-3]。Hadoop 下的数据存储处理设计可以满足以上需求，不但能够满足智能配用电数据存储需求，也能够提升数据处理效率，为数据分析应用提供便利。

1 Hadoop存储处理能力

Hadoop 技术体系包含有多种技术，例如全分布式架构、在线扩容减容等，可以实现对PB 级以上规模数据在线存储的支撑，为智能配电网不断加大的数据体量存储提供重要支撑作用。在Hadoop 技术中，一项重要任务即为数据计算，具备有Kafka+Storm 数据流计算功能。对于时间窗口中应用系统出现的流动数据，可以不实施持久化存储，在内存中直接导入且实时计算，数据处理的速度平均在10 万条/s 以上，吞吐量在100 M/s 以上。所具备的Spark 内存迭代计算，对于计算中的磁盘I/O 具有显著的降低作用，实时计算和交互式查询对于配电网海量数据中的实时/准实时处理具有显著改善作用[4]。……