陈行滨　王周　郑飘飘　林德威　刘青

摘要：基于Hadoop存储架构设计了电网非结构化数据管理平台，主要包括存储分析与搜索读取2大模块，整合HDFS、Hbase等存储设备，利用HDFS实现海量数据的快速读写，采用基于ZooKeeper及Solr搭建的开源分布式搜索引擎SolrCloud实现数据检索，提供了高效便捷的智能化管理手段。

关键词：电网管理;Hadoop存储;分布式;数据检索

中图分类号：TP311.13

文献标识码：B文章编号：1001-5922（2022）06-0172-04

Realization of power big data storage based on distributed file system

CHEN Xingbin WANG Zhou ZHENG Piaopiao LIN Dewei LIU Qing

（1. State Grid Fujian Electric Power Co.， Ltd.， Fuzhou 350000， China; 2. Information and Telecommunication Branch， State Grid Fujian Electric Power Co.， Ltd.， Fuzhou 350000， China; 3. State grid Xintong Yili Technology Co.， Ltd.， Fuzhou 350000， China

）

Abstract：This paper designs an unstructured data management platform for power grids based on the Hadoop storage architecture. It mainly includes two modules： storage analysis and search and reading. It integrates storage devices such as HDFS and Hbase. It uses HDFS to achieve rapid reading and writing of massive data and adopts an open-source distributed search engine SolrCloud built by ZooKeeper and Solr to implement data retrieval， providing an effective and convenient method for smart management.

Key words：power grid management; Hadoop storage; distributed; data retrieval

電力行业的非结构化数据存储的内容包括图像、视频、报表、网页等不同格式，其中70%以上源自人与人之间的协作，可以说是以人为中心产生的数据。其中蕴含着各类经验与操作方法，是很珍贵的数据资产，如何将所有的非结构化信息加以管理是衡量企业信息化水平以及数据充分利用率的关键指标。

1电网非结构化数据管理

1.1电网非结构化数据管理现状

电网非结构化数据的管理包括存储、管理以及检索。由于电力行业数据增长非常快，大部分企业是采用BLOB字段进行存储，这种方式访问速度快、维护也比较简单;但是随着海量数据的增长，系统性能跟不上，数据共享也存在问题。因此，要实现电网非结构化数据的管理，必须考虑海量数据的存储方式、安全措施、备份办法以及检索机制。

1.2电网非结构化数据管理

（1）提升业务运行效率，实现数字资产管理：将非结构化数据文档的标准化、规范化统一管理;

（2）降低开发成本，发挥整合效应：在物理存储层面通过统一存储使各业务系统不用单独购买存储设备，降低实施成本;