龙 昊，何应强，邢博为，周 晶

（海军大连舰艇学院作战软件与仿真研究所，辽宁 大连 116018）

1 研究背景

电力系统中各种金具的固定需要通过螺栓来实现，但因输电载体长期暴露在野外环境中，易受大风、大雪、雷电等自然因素影响。据历史数据统计，输电系统中的故障问题绝大多数由金具上的螺栓故障引起，常见的表现为销钉缺失、螺栓松动、螺母缺失、螺栓缺失等。这些零件一旦出现问题，与之相关联的其他金具也会产生问题，进而影响整个输电系统的安全[1-2]，因此，高效监测设备故障对电力系统的正常运营非常关键。

随着电力系统愈加复杂，传统的人工方式故障巡检已不再适用。近年来，利用航拍图像进行数据采集代替人工巡检的方法得到广泛应用。在空间结构和分布复杂的电力系统中，选用特定的图像采集不仅关系到图像故障检测的分布，还会影响到图像的清晰度。这些问题加大了对缺陷特征进行检测的难度。在采集图像时，由于航拍无法实现近距离拍摄，图像在细节上可能会不在可接受的置信区间，致使辨认故障问题比较复杂，依靠目标的形态特征对螺栓进行区别将存在极大的困难[1]。当照片中存在背景过于复杂、缺陷元件的占空比很小、缺陷特征存在较小的视觉特征差异等问题，网络将难以对视觉特征进行提取，致使元件的特征信息丢失[1]。本文以缺陷螺栓作为研究对象，提出了一种结合注意力机制的加权特征融合检测方法。首先，为了降低螺栓图像在特征提取过程中因目标过小、背景复杂等问题所导致的信息丢失状况，需借鉴PANet[3]的双向融合方法，将高层与底层的特征进行融合，这里将ResNet-50[4]作为特征提取网络，主干网络在每个阶段的不同尺寸特征与注意力模块结合后得到相应的注意力特征图，再与上采样的特征进行加权特征融合[3]。本文的创新点在解决检测效果不佳的问题上，在双向融合的过程中引入注意力模块，这样能增强相似目标的不同特征，弱化不同目标的相似特征，使缺陷特征与背景特征的差别进一步拉大，提高检测精确程度[1]。

2 特征融合

特征融合是对现有的多个特征融合形成新的特征。特征融合是输出每个阶段的最后一层的特征，就会形成金字塔的特征形态[5]。在金字塔由底层向顶层的传递过程中，将同等大小的特征图层归为相同的一个阶段，特征图的大小在经过某些阶段以后就会发生改变，而在经过例如1×1 的卷积核进行卷积的时候不会改变。之前的多种目标检测方法都是只对顶层的特征进行预测，虽然底层的语义特征信息比较少，但能更加确定目标的位置信息；而顶层的语义特征信息虽然丰富，但会缺乏目标的相应位置信息[6]。如图1 所示，对4 种特征的利用方式进行了展示。

图1 特征融合示意图

图1（a）是对利用多尺度的特征，即没有进行上采样，没有对多种尺度的特征进行融合，从网络的不同过程中抽取多个尺度的特征进行预测，典型的网络模型就是单激发多框探测器[6]，它直接用不同阶段的特征分别检测不同的目标。这种方式由于去掉了RPN 层，速度较快，虽然能避免额外的计算量，但是底层特征利用率不高。

图1（b）是自上而下单向融合的特征金字塔网络，正是当前物体检测模型的主流特征融合模式。如Faster R-CNN[5]、Yolov3[7]、Mask RCNN 等，以Faster R-CNN中的C4 为例，在底层融合的过程之后还会再采用3×3 的卷积核对每个融合结果进行卷积，消除上采样的混叠效应[4-5，7-8]。图1（b）描述了自上而下的特征融合，具体的特征融合方法如下式：

图1（c）是FPN 的特征融合方法，只有从顶端到底端的融合。而PANet 提出了在融合后从下向上二次融合特征，因此能从底层向顶层传达强定位特征，也叫简单双向融合[3]。FPN 的做法就是为了把顶层的语义信息传到底层，以达到语义信息增强的目的；而PAN的做法则是为了把底层的位置信息传到顶层，以达到增强定位能力的目的。

图1（d）网络中双向融合是有效的，多尺度的输入特征的分辨率不一样，不同程度地保留了特征语义和位置信息，所以，对输出特征的贡献也不一样。因此，BiFPN 在简单地进行相加处理的基础上又提出了一种简单而高效的加权特征融合方法，即通过增加特征权值，并移除没有进行特征融合的输入节点，去拟合更高效的函数。这样处理简化了网络结构[9]。

3 基于自适应注意力机制的加权融合方法

3.1 加权特征融合

特征经过双线性插值法采样、融合下一层的特征，对输出特征的贡献不同。为了让网络计算特征值的权重，这里借鉴BiFPN 的加权特征融合，以C4 为例进行说明，描述了图1（d）的双向特征融合在第4 层的情况，如下式：

其中wi≥0，通过ReLU 后以确保数值的稳定性，使每个权重归一化后值处于（0，1）[9]。

对特征的简单相加、特征融合以及加权特征融合进行比较，图2（a）为原图像，图2（b）、图2（c）分别是求和和加权方法得到的热力特征图。观察图2（b）、图2（c），加权融合方法所得处理的特征图较少；求和方法所得特征图能保留更重要的目标，相对来说有更少的噪声，更接近实验目标。

图2 处理前后的图像对比

鉴于深层特征图的语义信息较少，虽然FPN 和PAN 皆对目标特征进行了融合，但对极小目标物体的检测效果仍不显著，因此复杂多变的前景以及背景信息对视觉检测提出了更高的要求。

3.2 权值调整

AAM 是作用在注意机制[10]和注意机制之下[11]，通过自适应平均池化层获得不同尺度的多个特征。由于注意力的能力较弱，CBAM 提取通道需要将其模块中的通道注意力提取模块更换为ECA 通道注意力模块。

自适应注意力模块AAM 如图3 所示，其操作可以分为2 个步骤：①设定池化系数为0.1～0.4，根据数据集的目标大小进行调整；②通过空间注意力机制，为每个特征图生成空间权值图。通过权重图融合金字塔特征，生成包含多尺度上下文信息的特征图。

图3 本文的特征提取与特征融合模型

以C4 为例进行说明，C4 先从自适应池化层获得不同尺度的语义特征，再在每个金字塔特征进行1×1的卷积，得到相同的通道维数256。利用双线性插值法对上层进行采样，空间注意力机制通过Concat 层将3个上下文特征的通道进行整合；然后特征图依次经过1×1 卷积层、ReLU 激活层、3×3 卷积层和sigmoid 激活层，为每个特征图生成相应的空间权值。生成的权值映射和整合通道后的特征映射经过Hadamard 乘积操作（Hadamard 的矩阵运算是相应位置的积），将其分离并添加到输入特征映射M4 中，将上下文特征聚合为M4′，所得到的特征图具有丰富的多尺度上下文信息，此种做法，在一定程度上能降低因为通道数量减少而造成的信息泄露。

输入图像通过多个卷积生成特征映射C1、C2、C3、C4、C5，其中C3 和C4 各自通过AAM 后分别生成特征映射M3′和M4′，通过自上而下的途径传播与其他较低层的特征进行融合，在不增加庞大计算量的同时，进一步减少特征的上下文信息丢失。

4 实验结果及分析

本文将Faster R-CNN 作为基线模型，Faster R-CNN+BiFPN 是Faster R-CNN 加入BiFPN 特征融合的方法，Faster R-CNN+BiFPN+AAM 是引入2 个变量（AAM1 和AAM2）。引入BiFPN 的检测结果如表1所示。从结论可以看出，引入BiFPN 特征融合方法后对模型的平均准确率有3.38%的提升，在此基础上，再次引入2 个AAM 模块，较引入之前又有10.9%的提升。

Faster R-CNN 、 Faster R-CNN+BiFPN 、 Faster R-CNN+BiFPN+AAM 的检测结果如表2 所示。为了进一步验证AAM 加入前后的性能优劣，根据表2 所示几种情况进行模型的调整，可以发现在整体上，平均准确率均有不同程度的提升，对比AAM1、AAM3 以及AAM2、AAM4 引入后的结果，可以发现2 种情况的各类准确率和平均准确率的提升皆较为类似。由此进一步说明特征语义信息的完整保留对检测精度的提升是非常有用的，也验证了自应注意力模块的有效性。

本文使用PR（Precision-Recall）曲线作为模型的评测指标。Faster R-CNN、Faster R-CNN+BiFPN 以及本文方法的PR 曲线如图4 所示。可以看出，本文方法的PR 曲线比Faster R-CNN 的PR 曲线更加外凸，这表明在相同的准确率下，本文的召回率更高，检测结果的正确比例也会更大。

图4 PR 曲线

图4 中横坐标为召回率，纵坐标为准确率，将各类PR 曲线包围的区域作为各类的mAP 值。由图可以看出，从该方法得到的PR 值比前两种更为明显，说明在相同精度下，本文的方法有更高的召回率和检测结果。

5 结束语

为提升缺陷螺栓的检测精度，本文参照BiFPN 的网络结构，引入了自适应注意力机制AAM 进行加权融合，使目标的语义及位置信息进一步增强，目标物体与背景的差异化特征进一步拉大，从而实现提升检测效果。针对特征提取阶段的特征融合效果不佳和时间占用问题，借鉴BiFPN 简单而高效的加权整合方法，以达到网络对每个输入特征的权重进行学习的目的，再去除金字塔采样过程中的无用节点，以达到减少计算量的目的。在本文检测过程中仍有一些关联性问题需要解决，比如有时因光照、拍摄角度等问题会拉低缺陷螺栓的检测精度。