融合Resnet50与改进注意力机制的绝缘子状态识别研究

2021-11-03孙广慧

电子技术与软件工程 2021年16期

关键词：绝缘子注意力卷积

孙广慧

（安徽理工大学电气与信息工程学院安徽省淮南市 232063）

高压输电线上包含着大量的绝缘子串，绝缘子的正常稳定状态关系着供电能否安全运行[1]。然而，绝缘子长期暴露在室外，难免会遭受到不同程度的损坏。为了避免因绝缘子损坏导致的运行风险，必须及时对绝缘子状态做出检测判断。传统的检测方法有：

（1）人工巡检，虽然人眼观察准确率较高，但是存在着耗时耗力、效率低下等问题。

（2）利用红外热成像进行监控，这种方法虽然可以实现远距离监测，但是红外成像依赖于绝缘子的表面温度[2]容易影响判别结果。

无人机具有灵活且成本低的优势，因此使用无人机进行电力巡检成为更加常用的巡检方式[3]。虽然这种方式可以节约人力，但是采集到的图片会因恶劣天气导致噪声过多分辨率较低，或是图像中绝缘子难以从背景复杂的室外环境中分割，这些因素都增加了准确识别绝缘子状态的难度。

为了更好的提取绝缘子丰富的图像特征，秦瀛[4]将VGG16 做为特征提取网络对绝缘子边缘发生的缺陷做出改进，虽然VGG 模型结构简单，但是识别精度不高。冯万兴等人[5]使用一种以两阶段目标检测 Faster-RCNN + FPN 为框架的深度学习缺陷检测方法，提高了识别速度。在深度学习过程中，模型提取的特征信息会随着网络加深而变得丰富。但是CNN 在达到一定深度后精确度会达到饱和，且网络会出现梯度弥散从而导致难以收敛。而2015年由何凯明提出的网络模型ResNet[6]可以很好的解决这种问题。

为了解决图像难以从复杂背景中分割的问题，采用ResNet50网络来提取图像特征，通过使用过参数卷积层（DO-Conv）替换网络中常规卷积层可以提高网络精度，并添加ECA 与改进后的CBAM 这两个注意力模块优化特征提取过程。基于ResNet50 及改造注意力模块构建一个能区别绝缘子正常与缺陷这两种状态的深度学习模型。绝缘子处于不同复杂背景环境下时仍能快速精确识别，为电网稳定安全提供保障。

1 E-ResNet50

残差神经网络是在传统的深度卷积网络中加入了残差学习，在一定程度上缓解了深层网络中梯度弥散以及精度下降的问题。ResNet50 网络性能强大的同时减少了参数量，模型结构也较为简单具有很强的操作性。在图像处理时常作为核心的特征提取网络，结构易于优化具有一定的研究价值。因此选择ResNet50 作为绝缘子状态识别的基础模型作进一步探讨研究。

E-ResNet50 使用ResNet50 作为特征提取网络主干，为了加速网络训练将Resnet50 的常规卷积层替换为Do-Conv 得到DOCnet50。在网络的残差内部结构中加入一个有效的轻量级通道注意力模块——ECA 模块。为了兼顾注意力的空间通道，在网络卷积层的第一大层与最后一大层后加上改进后的DO-CBAM 模块，最后通过共享的全连接层来识别绝缘子的状态。

2 DOCnet50

众所周知，卷积层作为卷积神经网络的核心，作用是对输入数据进行特征提取。通常情况下，为了提高网络性能，可以通过附加的深度（Depthwise）卷积来增强常规卷积层，对其中每个输入通道都使用不同的二维内核进行卷积。这种操作构成了过度参数化（Over-paramaterized）卷积层，即DO-Conv[7]。过度参数化可以将过度参数化使用的多层复合线性运算折叠为紧凑的单层表示形式，计算会与常规层完全等效，从而节约了计算量。因此使用DOConv 不仅能加快网络训练速度，还能有效提升识别分类的准确性。鉴于Do-Conv 的高效性，在优化模型时将此运用到ResNet50 常规卷积层的改造中，将其替换网络中所有的二维卷积层，构建新模型DOCnet50。

图1中M×N 为输入向量的空间维度，Cin、Cout分别为输入、输出向量的通道数，Dmul为卷积深度。深度卷积内核D 和输入特征P 通过深度卷积算子○生成变换得到特征P'，此时将P'作为中间量与常规卷积内核W 通过常规卷积运算*可以变换得到新的特征O。经由以上过程后最终可将输出表示为：

图1：深度过参数化卷积的计算过程

3 注意力机制

3.1 ECAnet

将通道注意力融入卷积块中有利于模型的性能提升，代表方法之一是挤压和激励网络（SENet[8]），它可以学习每个卷积块的通道注意，从而为各种深层CNN 架构带来明显的性能提升。但它在使用过程中会因为控制模型复杂性而降低维度。

在DOCnet50 网络的残差块中按即插即用的方式添加ECA 模块，该模块能在避免降维的情况下，依旧保证捕获跨通道交互的高效性。ECA 通过每个通道及其相邻的k 个邻居来捕获局部跨通道交互信息，避免降维有利于学习通道注意力，而适当的跨信道交互可以在显著降低模型复杂度的同时保持性能，因此这种方法可以在高效率的同时保证有效性。过程可以用公式（2）所示：

式（2）中σ 为Sigmoid 函数，C1D 为代表输出信号的一维卷积。

3.2 DO-CBAM

CBAM 与只关注于通道间关系的ECA 不同，它是一种可以同时考虑通道维度与空间维度的注意力模块，弥补了ECA 单维度注意力的不足。然而其在空间注意力模块中，为了聚合更广泛的空间上下文特征，使用了一个7×7 的大感受野卷积核来聚合空间特征，模块参数量会随感受野的增大而增大。为控制参数量的大小，本章将模块的二维常规卷积层替换成DO-Conv，提出新的注意力模块DO-CBAM。

3.2.1 通道注意力模块

通道注意力关注于图像的具体特征，将特征F 作为输入，分别进行局平均池化和最大池化得到两个一维描述Fc

avg与Fcmax，将这两个描述送入共享网络层，特征相加之后经过Sigmoid 激活函数得到权重函数Mc。

具体地，通道注意力计算过程可如下表示：

其中σ 代表激活函数；MLP 为多层感知器。

3.2.2 空间注意力模块

空间注意力模块往往更关注特征的位置，将特征F'作为输入，通过池化操作产生两个二维描述Fcavg、Fc

max并按通道进行拼接最后经过卷积层，通过激活函数得到权重Ms。

改进后的空间注意力计算过程可如下表示：

其中σ 代表激活函数；f7×7为DO-Conv 卷积操作。

4 绝缘子状态识别实验

4.1 数据集处理

使用的数据来源于国家电网提供的开源绝缘子数据集，数据集内包括正常绝缘子600 张与缺陷绝缘子图像247 张。由于图片数目较少容易引起过拟合，通过翻转、遮挡、增加噪声等方式对数据进行了扩增，得到为原先八倍即为6784 张的数据集。按照的8:2 比例将处理过的数据集分为训练集和测试集。最终训练集中有5427张图片，测试集中有1357 张图片。

实验基于深度学习框架Pytorch 来实现模型，编译语言为Python。训练参数如下：优化器为Adam；损失函数使用交叉熵损失函数；Ir=0.005；epoch=500；batch size =32。

4.2 不同卷积神经网络模型的实验结果对比分析

为评估各卷积神经网络模型对绝缘子状态识别的性能，从下几方面展开对比讨论，准确率(Accuracy)、精确率(Precision)与召回率(Recall)：

为验证改进后模型的有效性，选取了基于ResNet 优化的不同模型进行对比。模型均采用相同数据集与实验参数。文献[9]是用SKNet 来改造的ResNet50 网络卷积层来提取特征来实现绝缘子状态识别。文献[10]在ResNet 中嵌入SENet 与CBAM 两个注意力机制模块来提升绝缘子状态识别的精确度。对比结果如表1 改进后的E-ResNet50 网络对绝缘子的状态分类结果具有较高准确性。