APP下载

基于通道注意力机制的裂缝检测研究

2022-12-02贾睿JIARui赵红岩ZHAOHongyan

价值工程 2022年32期
关键词:解码器编码器注意力

贾睿JIA Rui;赵红岩ZHAO Hong-yan

(辽宁省交通高等专科学校,沈阳 110122)

1 研究背景

交通在国民经济建设和国防建设等领域起着重要作用,且与人民群众的日常生活息息相关。近年来,我国交通建设取得了长足进步,其中道路交通作为最基本的交通方式,在里程总量和通行速度上都实现了跨越式发展。由于路面荷载作用以及外部环境的影响,道路路面因其不断使用而表现出不同程度的裂缝、坑槽、车辙甚至翻浆等路面常见的病害。

其中裂缝是一种常见的路面缺陷种类,当裂缝病害没有得到有效地养护时会影响行驶舒适度及危害交通运输安全,因此通过定期的道路路面巡检,及时发现裂缝等各类病害,制定适合的道路养护计划,是交通安全领域中重要的研究方向,具有重要的研究价值[1]。传统的裂缝检测是由道路养护部门安排人员进行实地检测,存在耗时长、易受主观性影响,已不再是道路裂缝检测的首选方案。人工检测结果取决于检测人员的能力水平,为了降低人工因素带来的主观差异性,国内外研究机构提出基于计算机图像处理的自动检测方法,包括边缘和轮廓检测、平滑处理、形态学处理、阈值分割算法等[2],但这些方法多采用人工设计的裂缝特征算子,易受光照、阴影和路面障碍等环境因素影响,检测准确率不高,难以应对复杂多变的不同道路裂缝[3]。

近年来,随着计算机视觉领域的发展,深度学习和卷积神经网络被应用至道路智能养护领域,取得了良好表现。不同于传统图像处理中需要人为设计特征的模式,深度卷积神经网络具有特征自动发现功能,低级卷积层能从高分辨率图像中学习局部特征和细节信息,高级卷积层能从低分辨率图像中学习全局特征和语义信息,两者结合就能从图像中定位物体边界和识别物体分类[4]。

目前将卷积神经网络应用于裂缝检测的主要方式有:利用图像分类进行裂缝分类、利用图形分割进行裂缝识别,其中利用图像分割技术的检测方法更加符合裂缝检测业务,是当前的主流研究方向。采用图像分割技术进行路面裂缝检测是从道路原始图像中分割出裂缝区域,以像素点为单位,区分各像素点属于裂缝还是非裂缝。图像分割模型一般采用编码器-解码器(Encoder-Decoder)结构,编码器通过逐层卷积操作提取各级特征,实现从局部特征到全局特征的发现,解码器通过反置卷积操作将高层全局特征逐步还原,从而与原始图像尺寸相等的特征图,并进行像素级分类,得到最终裂缝分割结果。

2 国内外研究现状

近年来,随着人工智能和深度神经网络的高速发展,相关技术在交通巡检养护领域中也得到了广泛应用。使用基于深度学习的图像分割模型进行裂缝检测时,结合裂缝特征提取和裂缝图像上下文信息,使裂缝识别更加精准。Yang[5]使用FCN 网络模型进行裂缝检测,采用反卷积层进行上采样,但FCN 网络缺少底层细节信息,导致检测结果准确率不高。Ronneberger 等人提出U-Net 模型[6],其采用编码器和解码器模式,两者呈对称结构,并通过跳跃连接方式来结合底层细节信息和高层语义信息,逐层恢复图像信息。曹锦刚提出了一种基于注意力机制的裂缝检测网络ACNet[7],在编码器和解码器间加入基于注意力机制的特征模块,以利用全局信息和增加对检测不同尺度裂缝的鲁棒性,更好地提取裂缝特征和位置。顾书豪提出了一种增强语义信息与多通道特征融合的裂缝自动检测算法,在编码器部分引入扩张卷积模块,增强特征语义表达能力,在解码器部分引入通道注意力机制进行特征融合,利用高层全局注意力信息指导高层语义特征与低层细节特征的逐级融合[8]。

目前大多数裂缝分割模型都通过改进U-Net 模型来实现,但U-Net 模型的特征识别和学习的能力有限,存在裂缝细节丢失、无法很好区分裂缝和背景的问题,同时UNet 中解码器中使用上采样层,造成裂缝细节信息丢失,易造成细小裂缝漏检的现象。

3 基于通道注意力机制的裂缝检测方法

3.1 U-Net 网络

U-Net 网络采用编码器-解码器结构,包含编码器、解码器和跳跃连接三部分,其中编码器用于特征提取,解码器用于上采样,跳跃连接用于信息融合。编码器(Encoder)用于图像特征提取,包含两个3×3 卷积层和一个2×2 最大池化层,在每次下采样运算后,卷积核通道数会翻倍,最后将卷积运算结果运送到对应解码器中。解码器(Decoder)用于从对特征图进行上采样操作,包含一个2×2 转置卷积,将特征图尺寸扩张两倍,并将通道数缩小为一半,然后再运行两个3×3 卷积层进一步计算特征。跳跃连接(Skip Connection)将底层图像特征和高层语义特征相连接,两者一起参与解码器运算,获取更准确的图像语义信息,提升最终结果准确率。

3.2 CA U-Net 网络

为了更好地使用U-Net 对裂缝图像进行分割,让模型关注重要的裂缝特征,抑制不重要的背景特征,提出一种基于通道注意力的路面裂缝分割网络CA U-Net(Channel Attention U-Net),采用编码器-解码器结构,其网络结构如图1 所示。

其中,CBR 由卷积层+批量归一化层+激活层组成,包含两个3×3 标准卷积核、ReLU 激活函数和最大池化模块。在编码器中引入通道注意力模块,提升裂缝特征语义表达能力,利用高语义层注意力权重信息来优化特征融合,弱化非裂缝背景和噪声对于模型带来的影响,从而解决UNet 在图像特征提取过程中依赖固定权重的问题。

通道注意力模块采用SE Block,通过学习的方式来自动学习到各个特征通道的重要程度,对各通道进行加权运算,使模型更加关注信息量最大的特征通道,抑制那些不重要的特征通道,从而提升模型分割准确度。同时,将增加注意力权重后的特征通过跳跃连接传递至解码器,融合高语义低分辨率全局特征和低语义高分辨率细节特征,显式地建模不同层级裂缝特征之间的相互依赖关系,增加多尺寸裂缝检测的鲁棒性,更好地提取裂缝特征和定位裂缝位置。

4 实验结果与分析

4.1 实验数据

实验采用的数据集为Crack500 与CrackForest,两者是裂缝检测领域主流开源数据集。Crack500 裂缝数据集,包含1896 张训练图像、348 张验证图像、1123 张测试图像,所有图片经过预处理后分辨率调整为640×360;CrackForest裂缝数据集,包含118 张裂缝图像,分辨率为480×320。两个裂缝数据集中都包含多类型裂缝图像,既有清晰的裂缝图像,也有带阴影、油渍、车辙等噪声的裂缝图像。

4.2 模型评估

为了评估裂缝分割的性能,并考虑到裂缝数据集中存在类别分布不平衡的情况,仅仅使用准确率和召回率作为评价指标不公平,因此本文采用F1 分数(F1-score)、平均交并比(mIoU)、裂缝分割精准率(Crack Acc)和裂缝分割召回率(Crack Recall)来进行模型评估。F1 分数用于评估模型对于裂缝与非裂缝的区分准确性,同时兼顾考虑精确率和召回率两项指标;平均交并比是用于评估模型对于裂缝与非裂缝的分割效果,对前景和背景类别分别计算交并比,并取平均值。F1 分数和平均交并比这两项指标越高,代表模型对裂缝智能识别和检测准确度越高,综合性能越好。

4.3 实验结果

为验证算法有效性,综合比较各图像分割模型对裂缝检测性能,分别在隧道裂缝数据集Crack500 和Crack Forest 上进行了实验,将提出的模型结构与FCN-48、UNet 等图像分割网络模型进行实验比较,在同一运行环境下进行对比分析。

从表1 中可以看出,在Crack500 和CrackForest 数据集上,本文提出的CA U-Net 分割模型明显优于其他对比分割模型,mIoU 分别达到75.12%、76.12%,F1-Score 分别达到84.08%、84.45%,Crack Acc 分别达到69.04%、66.27%,Crack Recall 分别达到70.9%、72.65%,对比基础U-Net 模型,mIoU 和F1-Score 分别提升了2.97%、2.26%。实验数据表明此分割模型具有很好的泛化性能,可以推广到其他裂缝检测任务上。

表1 不同裂缝数据集上分割模型性能指标对比

为了更直观的对比上面三种分割模型的效果,对三种分割模型的分割结果进行可视化对比,结果如图2 所示。在分割结果对比图中,可以看出对于简单的裂缝,三种检测模型的检测结果都比较理想,能够检测出大部分裂缝,但对于裂缝边缘,FCN 和U-Net 两种模型检测效果一般,而CA U-Net 模型能够很好检测出裂缝轮廓和边缘;对于复杂的裂缝(包含横向裂缝、纵向裂缝、裂缝宽度不同),FCN 和U-Net 两种模型检测效果不好,容易受到各种噪声影响,很多裂缝没有被检测出,漏检现象明显,裂缝边缘不够清晰准确,而CA U-Net 模型对复杂、细小的裂缝能够进行很好的检测,漏检的情况相对比较少,精准率和召回率有提升,能够获得与Ground Truth 相似的分割结果。

5 结束语

本文针对路面裂缝图像的特点,提出一种CA U-Net图像分割模型,该模型引入通道注意力检测模块,将其融入U-Net 中,显式地建模不同层级裂缝特征之间的相互依赖关系,自主学习各个特征通道权重,让模型关注重要的裂缝特征,弱化背景和噪声带来的影响。采用Dice 损失函数来应对裂缝图像前后背景不平衡问题,提升分割性能,增加不同尺度裂缝检测的鲁棒性。

实验结果表明,本文提出的分割模型在Crack500 和CrackForest 两个数据集上都得到了很好的裂缝识别分割,并且在平均交并比和F1 得分两个综合评价指标上证明了该模型有效性,mIoU 分别达到75.12%、76.12%,F1-Score分别达到84.08%、84.45%,对比基础U-Net 模型分别提升了2.97%、2.26%。实验数据表明本分割模型具有很好的泛化性能。在后续的工作中可近一步提升模型特征提取能力,优化裂缝检测速度,降低模型计算量,进一步提高模型效率、准确率和泛化能力。

猜你喜欢

解码器编码器注意力
让注意力“飞”回来
科学解码器(一)
科学解码器(二)
科学解码器(三)
线圣AudioQuest 发布第三代Dragonfly Cobalt蓝蜻蜓解码器
基于FPGA的同步机轴角编码器
“扬眼”APP:让注意力“变现”
基于PRBS检测的8B/IOB编码器设计
JESD204B接口协议中的8B10B编码器设计
多总线式光电编码器的设计与应用