曹 辉, 杨理践, 杨文俊, 邵一川, 刘 斌

(1. 沈阳工业大学 信息科学与工程学院, 辽宁 沈阳 110870; 2. 沈阳大学 信息工程学院, 辽宁 沈阳 110044;3. 华盛顿大学 工程与技术学院, 华盛顿州 西雅图 98195)

石油作为重要的能源材料越来越受到国家战略安全的重视, 管道的运行安全极其重要. 长输管道是石油运输的主要方式, 输油管道长期使用受到腐蚀容易引起变形、裂纹等缺陷,造成能源泄露, 对财产和环境安全造成威胁, 所以对管道进行定期检测意义重大. 目前漏磁內检测技术是最常用的管道检测方法, 通过对检测到的漏磁数据进行处理, 可以得到漏磁图像, 对漏磁图像中的异常进行检测,可以确保管道安全. 其中,异常检测作为识别之前的重要环节, 其重要性不容忽视. 异常检测准确性关系到后续异常识别尺寸反演以及评估的精度. 由于环境噪声的存在, 使得微小异常信号容易被忽略掉. 一旦小缺陷被漏检,管道发生泄漏, 经济损失将不可估量. 因此,提升异常区域特别是微小异常区域检测的精度极其重要.

图像异常检测的传统方法主要包括像素邻近距离和基于梯度的边缘检测方法[1-2].边缘检测只是针对纹理进行分类,而无法理解图像上下文语意.像素邻近距离需要针对具体的图像来手动设置阈值,由于阈值无法广泛地应用于所有图像,所以不具有普适性.在漏磁数据异常检测研究中,大都基于阈值法或者边缘检测算子法进行检测[3-5].以上方法对噪声的鲁棒性不高,边缘检测精度有限,特别是微小异常容易发生漏检.

1 漏磁检测原理

漏磁检测由于其检测环境要求较低、操作简单及灵敏度高被广泛用于长输油管道的内检测中,该方法在国内外得到了广泛的应用.漏磁检测通过磁敏传感器检测被测件周围产生的漏磁,漏磁量的大小与缺陷真实尺寸大小之间存在一定的非线性映射关系.通过分析这种非线性映射,最终对管道进行无损检测评估.

管道漏磁内检测的主要原理是:通过霍尔传感器检测出缺陷处被磁化材料表面泄漏出来的漏磁通量,如图1所示.

图1 漏磁检测原理Fig.1 Principle of MFL detection

通常可以将磁通分为3个部分:一部分直接穿过缺陷;一部分在管壁内部迂回,通过缺陷周围的铁磁材料绕过缺陷;还有一部分磁通则会脱离管壁表面,通过空气绕过缺陷再次进入管壁.当管壁没有缺陷时,磁场均匀分布,管壁中若存在异常,就会存在漏磁通,漏磁通被磁敏传感器捕获后形成漏磁信号,即缺陷漏磁报警信号,通过对漏磁信号进行分析,推断出缺陷尺寸等各项参数信息.所以对缺陷参数精确量化的关键是尽可能全面准确获取缺陷漏磁场的大小及其分布特征.

2 网络模型

2.1 U-Net网络

U-Net网络是一种改进的全卷积神经网络模型,网络没有全连接层,可以实现任意尺寸图像的检测,该方法由一个捕获上下文信息的收缩路径和一个可用于精准定位的对称扩展路径组成,训练策略基于对数据增强方法的使用,可以对有限的标记样本进行充分利用.U-Net网络结构如图2所示.

一般的分割网络的结构是编码器-解码器架构. 编码器(Encoder)通常是一个预训练的分类网络, 主要完成特征的下采样,比如 Xnception、ResNet等等.解码器(Dencoder)的任务是将编码器学习到的可判别特征从语义上投影到像素空间, 以获得像素级预测. 目前流行的解码器通常有U-Net结构和空间金字塔池化[6-7]两种,U-Net网络是U型结构, 左边Encode可以看作先下采样, 经过不同程度的卷积, 学习了深层次的特征,右边Decoder在经过上采样回复为原图大小, 上采样用反卷积实现. 此网络输入和输出都是图像, 没有全连接层. 较浅的高分辨率层用来解决像素定位的问题, 较深的层用来解决像素分类的问题.

2.2 ResNet网络

原始的U-Net的下采样部分的网络结构对梯度的回传不是十分友好,容易发生梯度消失问题[8-9].采用ResNet结构可以解决这个问题.ResNet的结构[10]可以极快地加速超深神经网络的训练,模型的准确率也有非常大的提升.ResNet的学习目标可以保证经过该恒等层的输入和输出完全相同.在使用了ResNet的结构后,可以发现层数不断加深导致的训练集上误差增大的现象被消除了,ResNet网络的训练误差会随着层数增加而逐渐减少,并且在测试集上的表现也会变好.

2.3 对抗网络

对抗网络[11]是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一.模型通过框架中(至少)2个模块:生成模型和判别模型,生成模型是给定某种隐含信息,来随机产生观测数据.判别模型需要输入变量,通过某种模型来预测.对抗网络可以通过两个模型的互相博弈学习产生相当好的输出.

3 基于U-Net网络模型的管道漏磁异常检测

3.1 改进的U-Net网络模型和算法

使用U-Net的变体作为解码器. 这种解码器利用深层网络获得抽象特征, 利用浅层网络获得上下文特征, 并采用复制叠加方式进行特征融合.

所设计的的网络模型分成2个部分,分别是编码(Encoder)和解码(Decoder).由于原始的U-Net的Encoder下采样部分的网络结构容易发生梯度消失问题,因此采用改进的ResNet结构来替代.是ResNet V2结构如图3所示.

图3 ResNet V2结构Fig.3 ResNet V2 structure

图3的结构称作ResNet V2,网络结构中BN层指批量归一化层,作为预激活,起到了正则化的作用;其中Conv层为卷积层,ReLU指激活层,Addition为相加.式(1)表示ResNet任何第L层(深层)与第l层(浅层)之间关系.

式(2)为反向传播公式,Lo为损失函数,这个反向传播公式中两层之间梯度信息无障碍传递,有效的防止了当权重很小时,梯度消失的问题.

Encoder部分如图4所示,是基于ResNet的改进.

图4对ResNet结构作了如下改进:

图4 改进的ResNet V2结构Fig.4 Improved ResNet V2 structure

1) 用深度可分离卷积代替原始的卷积部分.文中所述的深度可分离卷积就是降低卷积运算参数量的一种典型方法.目前以大网络为趋势的Xception和以移动端为目的的Mobilenet,都使用深度可分离卷积.它的核心思想是将一个完整的卷积运算分解为两步进行,分别为Depthwise Convolution与Pointwise Convolution.深度可分离卷积比普通卷积大大减少了所需要的参数和计算量.

2) 引入空洞卷积.空洞卷积是在标准的卷积图里注入空洞,以此来增加感受域.好处是在不做池化损失信息的情况下,加大了感受视野,让每个卷积输出都包含较大范围的信息. 空洞卷积满足式(3).

Mi=maxMi+1-2riMi+1-2(Mi+1-ri)ri.(3)

式中,ri是i层的扩张率(dilation rate),Mi是指在i层的最大扩张率,如果总共有n层,则默认Mn=rn.如果应用于kernel为k×k,目标则是Mi≤k,这样可以用dilation rate1即standard convolution的方式来覆盖掉所有洞.

本文对于网络的最后一个下采样,使用dilation rate为2的空洞卷积,这样在不改变后续节点的感受野的情况下,增加了特征的分辨率,使得特征有更细致的空间信息.

图4针对Encoder的架构进行说明,图5针对Encoder算法流程进行说明,其中每个Resblock结构如图4,图4和图5共同对Encoder进行了说明.

图5 算法流程图Fig.5 Flow chart of algorithm

Decoder部分仍然采用和原始U-Net相同的结构,在文中不做详细描述.在算法中参考了目前分割网络的趋势,把上层由卷积层改成了双线性插值,把双线性插值封装成层,这样做虽然牺牲了一点网络的非线性复杂度,但对梯度回传非常友好.另外双线性插值比传统的反卷积更能保持特征的空间信息.

3.2 对抗网络架构的优化

根据人工专家的标注,输油管道缺陷的边缘是工整和平滑的,在传统的图像分割中,神经网络通常通过周围的语境特征来判断当前像素为目标的概率,但这种方式会带来小的毛刺状的图像边缘,生成式对抗网络(generative adversarial networks, GAN)可以让神经网络产生非常像专家标注的真实输出.GAN网络包含2部分,分别是生成器和判别器.判别器来判断,试图区分判别器和标注的输出,而生成器试图生成尽可能真实的分割结果,来混淆判别器.

GAN对于管道分割的目标函数表达为

G是从管道图像到缺陷图像的映射,G:x→y.判别器D把{x,y}映射成像素级二元分类{0,1}.

GAN网络架构的优化解如下:

Ex～Pdata(x)[lb(1-D(x,G(x)))]}.

(5)

式中,G是生成器,G(x)是生成器生成的分割结果.

在实际应用中,基于GAN的分割网络可以通过最小化标签图像和生成器的输出图像,来直接利用标注.

基于GAN的分割网络损失函数为

4 实验、结果与讨论

本文实验管道数据来源于实验场地, 管道内检测实验场地如图6所示, 图6为牵拉实验场地.

图6 管道内检测实验场地Fig.6 Experimental field of pipeline inner inspection

4.1 准备

对数据集的准备如下.

1) 将漏磁数据转变为灰度图像

在MATLAB中可直接用函数将漏磁信号转化成漏磁图像进行处理,管道微小缺陷部分的漏磁曲线和对应的漏磁图像对应关系如图 7所示.图中框出部分为管道缺陷,本实验的异常区域以微小缺陷图像为例进行验证.

(a) 漏滋数据曲线(b) 灰度图

2) 获得训练样本集和测试样本集.

选择100张不同异常缺陷的图像,在专业人员指导下,手工标记出图像中的缺陷;通过这种方式,生成100张300×10 000的图像.

3) 数据预处理.

随机地在原始图像中抽取100张300×300的图像,经过随机的加入噪声、角度偏转、缩放、上下角度翻转来增加数据的多样性.最后取256×256的数据为最终的训练数据.然后对数据进行归一化处理,使得所有输入数据的“像素”值在-1和1之间.

4.2 方法

在实验过程中使用2种方式来训练网络,并将它们的结果进行对比.

4.2.1 基于U-Net网络模型的漏磁图像异常检测

第1种方式通过U-Net网络模型对漏磁图像进行异常检测.采用网络常见的监督式学习,使用常见的交叉熵损失函数和Dice混合损失函数.

其中Dice损失函数的引用是用来平衡类不平衡问题的,用TP(true positive)、FP(false positive)、FN(false negative)来计算.另外,使用正则化和批量归一化层来解决过拟合问题.其中正则化重量衰减的参数是0.000 04.使用momentum为0.9的SGD作为学习策略,其中学习速率是通过超参数搜索获得,对于目前的实验数据集,学习速率为0.000 7.实验过程中在超参数搜索中还引用了其他变量,比如对深度可分离卷积是否设置正则化参数,学习速率衰减的策略和速度,网络参数初始化的策略等.

4.2.2 加入对抗网络的的漏磁图像异常修正

第2种方式在改进的U-Net网络模型基础上加入对抗网络(GAN).漏磁图像经改进的 U-Net网络进行异常检测的输出作为GAN的假图输入,与标注进行比较,如果检测出的图像跟标注产生很大不同,则循环修正,直到产生非常像专家标注的真实输出.基于对抗网络GAN的训练图示见图8.

图8 GAN网络的训练图示Fig.8 Training diagram of GAN network

与传统的对抗网络不同,这里x是输入的管道图像而不是随机噪声. 其中0表示由生成器生成,1表示由管道专家打成的标注.G是生成器.G(x)是生成器生成的分割结果.D是判别器. 通过式(5)GAN网络架构的优化解,为了训练判别器D,D(x,y)需要最大化而D(x,G(x))需要最小化.也就是说,生成器需要生成尽可能接近真实的结果来干扰判别器做出正确的判断.因为最终目标是让生成器生成和管道专家标注等价的结果,目标函数需要迭代式的进行min、max交替.先固定生成器G,让判别器D最小化目标函数.之后判别器D,让生成器G最大化目标函数.训练过程是这两个过程的循环.

4.3 结果

图9是本文基于改进的U-Net算法并加入对抗网络的对图像异常检测结果图.从图9可以看出,检测出的缺陷图像中缺陷细节完整、轮廓清晰.本文基于U-Net模型的检测算法能够准确实现对缺陷及其细节的检测.

(a) 原始图像(b) 标签图像(c) U-Net模型方法图9 基于改进的U-Net模型的检测结果图Fig.9 Test result based on improved U-Net model

4.4 讨论

4.4.1 评价指标

本实验中使用的分割网络评价指标是像素交并比(IoU)来评价算法的性能.公式如下:

式中,I表示交并比(IoU);t表示target;p表示prediction.

由于缺陷检测是典型的二元分类场景,因此,实验中依然可以使用操作特征曲线(receiver operating characteristic, ROC),精确率和召回率作为评价指标.最终的评价指标有3种,分别是IoU,ROC AVC基于ROC的(area under curve),以及基于Precision and Recall的AUC(PR AVC).

4.4.2 预测结果后处理

对于模型的预测部分,对于每一张图像,使用了双线性插值方法对原始图像进行缩放,缩放比率分别为0.5,0,75,1.0,1.25,1.5.模型分别对这5张缩放图进行预测.最后在把预测结果缩放到原始图片大小,取平均值,来得到最终的结果值.

4.4.3 实验结果对比

表1对文中方法和其他传统方法进行了比较.

表1 本文方法和其他方法的性能比较Table 1 Performance comparison between the proposed method and other methods

表1比较了不同边缘检测和使用本文算法的性能,相比于基于传统机器视觉方法的梯度边缘检测,基于U-Net深度神经网络的方法有明显的性能优势.这说明在大量图片数据的场景下,拥有百万级参数的神经网络对图像语义的理解能力超越了传统的图像处理方法.不同模型的性能比较结果如表2所示.

表2 不同模型的性能比较Table 2 Performance comparison of different models

表2对基于原始U-Net网络和引入可分离卷积U-Net、引入空洞可分离卷积U-Net以及引入GAN网络的实验结果进行了对比.

不同的方法表明使用对抗网络训练的生成器比直接使用交叉熵目标函数的U-Net网络性能上更有优势,说明对抗网络确实提高了分割的质量.进一步地研究表明,判别器的表达能力越强,训练结果越好,这说明判别器的深度是训练基于对抗的分割网络的关键.

5 结 语

本文针对传统管道漏磁图像异常检测效率不高、丢失细节信息等问题,提出一种基于 U-Net的卷积神经网络的漏磁图像异常检测方法.本文所设计的基于 U-Net的卷积神经网络模型分成两个部分,分别是Encoder和Decoder.其中Encoder是基于Resnet的改进网络,Decoder是基于U-Net的网络.本文对Resnet的改进如下:用深度可分离卷积代替原始的卷积部分并引入空洞卷积.该方法可以实现像素级的图像分割,最大程度地保留了原始图像的诸多细节信息;另外,为了提升检测准确性,本文还提出一个基于对抗网络的训练方法,经实验验证所提方法能够准确检测管道漏磁图像异常,在真实管道数据集上的IoU达到了0.983,漏检率、误检率低,具有较强的鲁棒性.