APP下载

基于图像分割的蒸发器二次侧管板清洗喷嘴自适应定位

2021-11-27包建国邱鹏程蒋兴福

机械与电子 2021年11期
关键词:轮廓语义卷积

包建国,邱鹏程,蒋兴福,杨 斌

(1.核动力运行研究所,湖北 武汉 430223;2.中国地质大学(武汉),湖北 武汉 430074)

0 引言

核电站运行过程中,蒸汽发生器传热管外表面因二回路工质中的杂质和离子浓缩并沉积形成表面结垢。随着时间的推移,这种表面结垢现象愈发严重,最终造成蒸发器无法正常运行。所以,保持核电站蒸发器清洁度优异对提高核电站发电效率起着重要作用[1]。由于蒸发器内部空间结构狭小及核辐射影响,导致无法执行人工清洗任务,需先精确定位到传热管中心得到位置偏差,进而实现清洗喷嘴定位,最后执行清洗任务。其中,快速精确实现清洗喷嘴的定位,确保清洗喷嘴对准传热管管间中心是清洗流程中的关键。

随着计算机硬件水平和互联网大数据的发展,深度学习在自然语言、计算机视觉和模式识别等领域中取得了众多的应用成果。在计算机视觉领域中,卷积神经网络(convolutional neural network,CNN)占据主导地位,拥有AlexNet[2]、ReseNet[3]、MobileNet[4]和EfficientNet[5]等优秀的深度卷积神经网络框架。其中,EfficientNet框架通过综合优化网络宽度、网络深度和分辨率,能够达到准确率指标和现有分类网络相近的情况下,大大减少模型参数量和计算量,在计算机视觉领域被广泛应用。

由于CNN 在降采样和全连接过程中会丢失大量的细节和空间信息,导致CNN无法在语义分割应用中提供良好的定位准确性和完整性[6]。为解决CNN存在的弊端,Long等[7]基于CNN提出了全卷积网络(fully convolutional network,FCN),以卷积层代替全连接层,将其应用到语义分割任务中,获得了更高的分割精度。本文以FCN为主体框架,采用EfficientNet的MBConvBlock架构搭建FCN的图像编码区,使用全卷积和特征融合搭建FCN的解码区,快速精确分割出传热管轮廓,从而确定传热管中心在图像中的像素坐标,进而确定定位摄像头与喷嘴的实际位置偏差,实现了喷嘴的自适应定位。

1 总体流程

本文提出一种基于图像分割的方法来实现蒸发器二次侧管板清洗喷嘴的自适应定位,该方法的关键是通过图像分割准确获取传热管的轮廓信息,其总体流程如图1所示,主要包括3个阶段:

图1 总体流程

a.采集传热管图像,制作对应的标签图像生成数据集,并根据标签图像精确标定传热管的实际中心像素位置。搭建基于全卷积神经网络的实例分割模型,载入数据集训练并优化模型,得到泛化能力最高的网络权重。该阶段直接影响传热管中心定位的精度和速度,是本研究的关键。

b.输入新图像到网络模型中进行前向计算获得概率分布图像。

c.对概率分布图像进行预处理获得传热管的轮廓信息,通过轮廓分析得到传热管中心像素位置,建立摄像头与传热管中心线的位置关系,实现喷嘴的自适应定位。

2 网络模型

图2为基于全卷积神经网络的语义分割模型架构,网络输入为512×512×3的RGB三通道彩色图像,网络输出为512×512的概率分布,整个网络架构实现了端到端的输出。

图2 全卷积神经网络架构

全卷积神经网络由图像卷积编码区和反卷积特征解码区2部分构成,在卷积编码区,输入图像经卷积不断降低分辨率和拓扑特征层宽度,保留尽可能多的图像特征信息,编码结果在图2中表示为32×32×80的特征层;在反卷积解码区,对特征层进行反卷积增大分辨率,同时通过跳层连接融合底层和高层特征信息,获得与原图同等分辨率的特征层,在图2中表示为512×512×16的特征层。最后通过2层卷积将特征层映射至512×512的大小,并采用Sigmoid激活函数将特征层映射到0~1的概率分布,获得每个像素点属于前景的概率值。

2.1 图像卷积编码

2.1.1 卷积降采样

在图像卷积编码过程中,输入图像通过步长为2的卷积层进行降采样,这种降采样方式可获得特征图更大的感受野;通过卷积可提取出重要特征,减少图像信息的丢失;降低网络的复杂度,减少网络的计算量[8]。

卷积降采样后,首先对特征层进行批标准化,把神经网络输入值的分布强行拉回到均值为0方差为1的标准正态分布[9];然后采用如式(1)所示的修正线性单元对特征层进行激活。这种架构使得激活输入值落在非线性函数对输入比较敏感的区域,保证输入的微弱变化就会导致损失函数的剧烈变化,可避免梯度消失问题的产生,从而加速模型的收敛并防止模型过拟合,达到一定的正则化效果,最终提升模型的泛化能力。

(1)

2.1.2 MBConvBlock特征提取

EfficientNet采用MBConBlock块堆叠而成,本文采用EfficientNet中MBConvBlock框架加强图像特征提取。MBConvBlock加强特征提取流程如图3所示,包括4个步骤:

图3 MBConvBlock特征提取流程

a.采用1×1的卷积扩张输入特征层的维度,卷积后依次进行批标准化和Swish激活。

(2)

b.采用深度可分离卷积对特征层的每个通道进行滤波,卷积后依次进行批标准化和Swish激活,通过深度可分离卷积可有效减少模型的运算量。

c.搭建注意力机制,首先采用全局平均池化(global average pool)将空间信息压缩;然后由2个1×1的卷积层压缩和扩张特征维度,完成通道信息的提取;最后经过Sigmoid激活函数后使用乘操作来提取关键特征,得到注意力机制映射。

d.采用1×1卷积将特征层的维度调整至与输入特征层一致,然后加入残差块,融合浅层特征和高层特征。

2.2 反卷积特征解码

2.2.1 反卷积升维

全卷积网络的主要优势是用反卷积层代替传统卷积神经网络的全连接层,全连接层将特征图映射为一维向量,一维向量的结果会损失图像的空间信息,反卷积层具有局部连接和权值共享特性,不仅可以避免图像空间信息的损失,而且减少了网络的训练参数,提升了模型的计算效率。FCN在反卷积层采用上采样操作使特征层逐渐恢复至原图像的尺寸,反卷积的输入输出尺寸关系为

o=s(i-1)-2p+k

(3)

i为输入尺寸;o为输出尺寸;s为反卷积步长;p为填充尺寸;k为卷积核的尺寸。

2.2.2 特征融合

在图像卷积编码时,由于降采样导致特征层丢失了一部分空间信息,若仅通过反卷积上采样,虽然最终输出图像大小与原图一致,但是分割效果不佳。在卷积神经网络中,浅层相对于高层具有更多的细节边缘信息,可以提供更精确的边界与纹理信息,而高层包含更加抽象的语义特征,可以较粗略地反映目标区域的位置与形状。本文采用跳层连接的方式,融合浅层特征和高层特征来实现修复空间信息的效果[10],最终获得图像的局部与全局信息,得到相对精确的分割边界。

2.3 损失函数

传热管图像的语义分割包括目标传热管和背景2个类别,针对传热管图像的每个像素点需要决策是属于前景还是背景,每个像素点的决策均为二分类问题,故采用二分类交叉熵损失函数,即

(4)

M为训练时BatchSize的大小;N为网络输出特征个数,在本文设计的网络中为262 144;yij为标签图像某一像素值,背景为0,前景为1;pij为网络输出结果,范围在0~1之间,大于0.5为前景,小于0.5为背景。

3 轮廓分析

轮廓分析前需对FCN语义分割模型输出的概率分布图像进行预处理,首先以阈值0.5划分每个像素点的类别,得到标准的二值化轮廓图;然后采用Canny算法得到传热管边缘信息,完成轮廓分析的预处理。

传热管轮廓是连续分布的像素集合Q={(x1,y1),(x2,y2),(x3,y3)…(xn,yn)}。本文采用几何不变矩获取传热管轮廓的中心,几何不变矩的定义如式(5),其中,n为传热管轮廓像素点个数;xi、yi为该轮廓像素点的位置;f(xi,yi)为该像素的像素值,由于边缘轮廓的像素值均为255,即f(xi,yi)均为255。通过几何不变矩得到的轮廓质心和轮廓中心重合,在式(5)中若p,q同时为0,则为零阶矩m00;若p,q中一个变量为0,另一个变量为1,则为一阶矩(m10,m01);通过零阶矩和一阶矩可求出轮廓项心,计算公式如式(6)所示。

(5)

(6)

4 实验与分析

4.1 数据集制作与数据增强

数据集的质量对深度学习算法的表现起着决定性作用,高质量的数据集要求图像数据规模大且复杂多样。在不同光照强度环境下,利用工业相机采集传热管在不同位置和倾斜角度下的图像数据1 106张,采用双线性插值方法将每张图像降采样至521×512大小。为提升模型的泛化能力,在网络的训练过程中读取数据时,通过随机翻转、模糊、亮度调整、对比度调整和添加人工噪声等数据增强方法扩增训练集,如图4所示。数据标注使用Labelme工具对传热管区域进行手工提取,传热管区域为全白,背景区域为全黑。

图4 数据增强效果

4.2 语义分割网络性能分析

按7∶3的比例将数据集分割为训练集(774张)和测试集(332张),模型的训练以10张图片为1个批次,采用Adam优化器和Ploy学习率调整策略。Poly策略的公式如式(7),其中,lrn为最终学习率;lrb为初始学习率;e为训练迭代的次数;t为最大迭代次数;p控制曲线的形状(大于1)。

(7)

本文采取准确率(accuracy,ACC)、灵敏度(sensitivity,SE)和特异性(specificity,SP)来评估模型的分割性能。准确率表示类别预测正确的像素个数占图像像素总数的比例,从整体上反映模型的鲁棒性;灵敏度表示正确预测的前景像素个数占总体前景像素的比例,反映的是前景像素的漏检情况;特异性表示被正确预测的背景像素个数占总体背景像素的比例,反映的是前景像素的误检情况。3个指标的计算公式如式(8)~式(10),其中,TP为真阳性,表示正确分类的前景像素个数;TN为真阴性,表示正确分类的背景像素个数;FP为假阳性,表示误分类为前景像素的个数;FN为假阴性,表示误分类为背景像素的个数。

(8)

(9)

(10)

得到网络模型后进行传热管中心定位测试实验,与实际标定的中心像素位置对比得到定位误差。本文将模型与去除反卷积的CNN模型、无特征融合模型和基于VGG16的FCN模型,在分割性能、计算资源消耗和定位精度进行比较,在训练集上的实验结果如表1所示,在测试集上的实验结果如表2所示。

表1 训练集各类算法实验数据

表2 测试集各类算法实验数据

4.3 实验结论

从表1和表2的实验数据分析可得:

a.去除反卷积使用全连接的CNN架构不仅使参数量急剧增加,而且模型分割性能不佳,定位误差大。

b.去除特征融合后模型参数量不变,在同等计算量下,模型分割性能略差于本文模型,定位误差大于本文模型。

c.以VGG16为主干的FCN架构与本文模型的分割性能和定位误差相差无几,但本文模型能以很低的计算资源实现高精度的定位效果。

本文模型以FCN为主体框架,经过多种经典方案集成形成一个轻量化和分割性能优异的语义分割模型,其在训练集和测试集上的损失值小、分割精度高和计算资源消耗低,可快速精确实现蒸发器传热管的中心定位。

5 结束语

本文基于全卷积神经网络框架,应用EfficientNet的MBConvBlock架构、卷积降维、反卷积升维和特征融合组合形成一个轻量化和分割精度高的语义分割模型,并将该模型应用到清洗喷嘴在蒸发器二次侧管板清洗中的自适应定位任务中。实验结果表明,在保证传热管定位精度的前提下,本模型更好地压缩参数量,减少计算资源消耗,提高机器人反馈控制速度和精度。

猜你喜欢

轮廓语义卷积
基于3D-Winograd的快速卷积算法设计及FPGA实现
OPENCV轮廓识别研究与实践
语言与语义
基于实时轮廓误差估算的数控系统轮廓控制
从滤波器理解卷积
基于傅里叶域卷积表示的目标跟踪算法
高速公路主动发光轮廓标应用方案设计探讨
“上”与“下”语义的不对称性及其认知阐释
认知范畴模糊与语义模糊
一种基于卷积神经网络的性别识别方法