徐古用 王慧琼 廖晓春

摘要

智能变电站的网络报文具有持续和海量的特点，相应的分析处理装置必须处在不间断分析处理模式下，网络报文的在线存储流量极大，因此对存储功能要求极其苛刻，在目前的技术条件下，这种海量数据的存储介质必须依赖于硬盘。针对这种情况，本文提出了硬盘分片和随机存储的储存方法，并建立了与之匹配的算法设计及处理流程，避开了硬盘文件系统的不稳定性和不确定性，实现了简单、稳定、坚固的直接读写硬盘存储方案，提升了网络报文分析装置的可靠性。

【关键词】智能变电站 网络报文 海量数据裸盘存储 冗余存储

智能变电站是完全构建在网络传输和通信控制层面、可控、可测和可监视的新一代技术体系，是智能电网的核心组成，也是支撑智慧城市发展的支柱，其特点是用网络连接取代传统接线方式，这决定了的网络报文储存处理及设备研制对智能变电站稳定运行和可靠监视的关键作用。此外，智能变电站采样“三层兩网”的多源异构报文发送模式，对数字标签和时钟同步要求较高，因此存储介质的信息传递、数据吞吐效率和存储逻辑设计要求极高。以一座标准220kV智能变电站为例，正常情况下每天产生的网络报文在5GB以上，异常情况下则轻易可达80GB，按目前的储存技术水平，如此海量的网络报文的存储不得不依赖传统的机械旋转硬盘，也因此产生如下问题：

（1）机械硬盘属于旋转部件，不间断运行将考验生命周期及运行可靠性;

（2）海量数据的硬盘储存吞吐率问题;

（3）传统控制硬盘的随机读写导致硬盘同一空间反复使用的易损问题;

（4）海量信息后期检索的精准定位问题。

随着南方电网继保智能化战略的实践，2018年为智能变电站推广元年，网络报文的储存也被空前高度的提上日程，优先解决网络报文储存问题将全面支撑电网安全、精益管理和高效运维，实现专业管理、现场作业、班组运维、监视控制及调度指挥全方位智能化，覆盖调试、运行、检修、改扩建和设备退役等整个时间维度周期，因此具有十分很重要的意义。

1基于裸盘储存的空间结构设计

智能变电站的网络报文是7x24小时产生，因此变电站内相应的分析处理装置必须处在不间断运行的模式下。此外，网络报文的在线存储流量极大，而存储功能要求相对简单。在目前的技术条件下，这种海量数据的存储介质不得不依赖于硬盘。与传统依赖操作系统控制硬盘的储存方法不同，本文涉及的储存方法适用于嵌入式系统，以裸盘的方式对硬盘进行储存控制。

将硬盘划定为多个数据块BLOCK，并按照数据进行排序，如BLOCK1、BLOCK2…，每个数据快BLOCK中包含很多个文件块FM，将其记录为F Ml、F M2--，并且为每个数据块以及文件块顺序重新进行序号的罗列，比如O、1、2、3…。如图1所示。

数据块的功能划定的步骤中，各个的数据块所已经选定的编号为O的数据块为元数据块，用于封装文件块的元数据，剩余的数据库主要是存储文件快中的网络报文数据，以期利用的功能的数据块的核心为数据块的划定，借此实施元数据与网络报文数据的分开存储，而且重点是需要记载元数据的地理位置，能够利用元数据的搜索获得对文件的块的额第一时间获知。

对网络报文以及自身的属性为划分的依据的是流量的发展规律进行不同种类的报文数据的占取空间的范围。并依据其类型进行网络配文数据的分配与其占用空间相匹配的数据块数目;可以对网络报文的类型分别储存和记载，这样，在后续的检索过程中，能够按照网络报文的不同类型继而有组织、有规律存储，而且是在后面的检索过程中能够针对性的实施检索。而且依据其存储不同种类的数据块，也可以降低后续检索的过程中的检查时间以及网络访问银盘的数据的指数，针对其内容数量较少的网络报文此效率尤为明显。

另外，依据的不同种类的网络报文特性进行分配数据块，以此针对拥有较多的流量的网络报文分派大空间的报文数据块，于此对与小流量的网络报文则分派少量空间的的报文数据块，例如，在SV网络报文中需要分派到大范围的报文数据块，相应的，PTP的网络报文分派的小的报文数据块，以此合理的实施了对于存储空间使用率，因地制宜，均衡使用硬盘，避免了硬盘的磁道以及硬盘的扇区高强度的摩擦与读写。而且，修补磁道以及扇区的空闲致使的硬盘数据的损坏不可用情况，便于整体的硬盘系统协调和稳定。

上述设计的硬盘划分中，其所设定的数据块基本容量为1GB为基本单位，各数据块的容量划分不等，通过将报文数据块的容量划分的大小不等，同样方便了为不同类型的网络报文分配空间的均衡，减少了因为分成均等的容量数据块中的各个数据块的所承载、分配的文件快数量庞大的问题，这会造成资源浪费，如果因为各个存储块的分配的范围小，难免会使得一些占用的存储空间大量的网络报文承载大，存储数量过多，增加了搜索过程中时间耗费的行为。

将硬盘划定为数据块、文件块，并将它们按照不同属性、类型进行网络报文以及不同文件块的信息的存储以及设置，形成固定类型网络报文占取预设配额的报文数据块，借此实现了独立的存储结构。采用这种的独立性的结构文件存储设计，如果智能变电站因为某一特殊网络差生事故，结果也就是将此种特定的类型的网络报文的存储数据消失，对于其他的网络报文的存储基本是不会影响，在安全性以及可靠性上大大的提升。

2网络报文储存方法的实现

将硬盘以1GB为单位划分为若干个存储块，存储块作为报文配额分配的基本单位（数据结构见图1），存储块被分配给某种报文类型后，只能存储此类报文。第0个存储块作为元数据块，用于存放文件块的元数据信息，来自分发模块的原始报文先在内存buffer中以pcap格式累积，等存储规则满足后，压缩原始buffer，添加gzip头和CRC，组成gzip格式的gzip_buffer，将gzip_buffer的内容作为文件块内容写入到存储块后，将文件块在整个分区（整盘）中的偏移、长度、网络ID、报文类型、第一帧报文的时间戳、最后一帧报文的时间戳作为文件块的元数据，写入到第O个存储块中，写入文件块的元数据完毕后，文件块按照时间先后顺序加入到存储块的文件块链表中。同时，存储块会按照存储报文的时间先后顺序依次加入到所属报文类型的存储块链表中。

报文写入的过程就是不断分配存储块、填充存储块、再分配存储块的过程。当为报文分配的存储块总数目还在配额范围以内时，从公共可用存储块链表中分配存储块，新分配的存储块放在链表的尾部;当存储块的数目达到配额时，最老的存储块（链表的第一个元素）被覆盖，同时存储块从链表头移动到链表尾，达到每类报文在自己的存储空间内循环存储的目的。

基于存储块的存储结构可以很好的应对配额调整，如果MMS报文的配额调小，那么MMS存储块链表中最老的超过配额的存储块会被移除，挂到公共存储块链表中;相应的，如果GOOSE的配额被调大，那么分配存储块时发现存储块的数目未达到配额，此时会向公共存储块链表请求存储块。

查询单个报文或某个时间段的报文文件时，通过二级索引的方式，先在报文的存储块链表中找到含有目标报文的存储块，再在存储块中搜索含有目标报文的文件块，达到快速检索的目的。如图2所示。

（1）接收原始报文，存储到硬盘;

（2）按照时间点、报文类型、网络ID精确查询单帧报文;

（3）按照时间段、报文类型、网络ID查询这个时间段内的文件块并扩展文件下载命令;

（4）按照时间段、报文类型、网络ID查询这个时间段内的文件块并将文件块解压为文件系统的临时文件用于离线分析;

（5）提供配置各类报文配额的接口;

（6）裸盘存储模块提供的接口与使用文件系统存储方案的接口完全相同，确保服务端的其他模块和客户端无需修改即可使用。

3优点总结

3.1保证磁盘寿命

正常情况下，每个文件块的内容写入完毕后，需要写入文件块的元数据到O号存储块，但O号存储块位于磁盘的开始位置，在报文的存储过程中，磁盘的磁头会一直来会的移动，不停的寻道，不利于磁盘的寿命。写文件块时，先将元数据块写入到当前的存储块中再写入文件块的内容，等到当前的存储块被填满后再批量写入元数据信息到O号存储块，这样便极大的减少磁头寻道的次数，如果遇到失電或程序意外中止，下次程序启动时，从上次写入的存储块中读入元数据信息。

3.2坏道（坏块）处理

连续3次向存储块写入数据失败后，将存储块标记为不可用;连续3次向3个不同的存储块写入数据失败后，将硬盘标记为故障。

3.3多个硬盘的使用策略

与使用文件系统的存储方案类似，如支持双硬盘同时储存：两个硬盘同时写入只是保证了在写入时提供数据冗余，而不是全过程的冗余;根据所需存储信息的重要程度和安全级别进行分类分别处理，如异常报文，其存储会对异常报文做智能抽取，单独进行双硬盘同时存储。而常规报文的写入是没必要冗余写入的，从而保证了整体效率和性能的提升;同时写入将系统的JO负荷提高一倍。

参考文献

[1]余越，周春霞，詹荣荣等.智能变电站继电保护装置网络压力产生原因及测试方法研究[J].电力系统保护与控制，2017，45 （18）：156-162.

[2]杨霁，张林，唐融.对分级存储环境的数据即时应用产品的研究[J]，自动化与仪器仪表，2018 （09）： 21-23+27.

[3]邹国惠，潘登，廖晓春等，智能变电站网络报文处理器的研究[J]，自动化仪表，2014， 35（04）：46-48+52.

[4]宁楠，廖晓春，邓其军等，基于IEEE1588的智能变电站多时钟域数据同步技术[J].武汉大学学报（工学版）， 2014， 47 （03）： 344-349.

[5]佟为明，高吉星，金显吉等，智能变电站过程层网络报文传输时间计算及抖动抑制方法[J].电力自动化设备，2 01 8，38 （06）：131-137.

[6]伦惠勤，骆燕婷，廖晓春等，同步数字传输体系（SDH）下的精确对时方案研究[J].武汉大学学报（工学版），2014，47（04）：485-489+515.