陈荣敏，王皓冉，汪 双，冯春成，李永龙

(1.中国大唐集团公司，北京 100045；2.清华四川能源互联网研究院，四川 成都 610000；3.西南科技大学，四川 绵阳 621000)

当前坝面人工巡检存在安全风险大、巡检成本高、缺陷识别效率低等问题[1-2]。近年来无人机在大型基础设施巡检方面发展迅猛，通过无人机搭载激光雷达、可见光相机等传感器，可实现对基础设施多维信息和全方位的缺陷巡检[3]。坝面表观裂纹具有背景复杂，分布不均，非结构化等缺点,利用无人机采集坝面图像可以极大改善目前人工巡检的效率。如果仅依靠人工从无人机采集的原始图像中识别坝面裂纹缺陷，这也将面临工作量大，同时存在效率低下、判断主观化等问题。而采用传统图像算法分析超声图像完成检测缺陷的缺点在于设备成本高、识别率低且耗时，无法直观给出缺陷检测结果[4-7]。张小明[8]提出了一种包含数据采集与图像数据处理的缺陷自动检测方法，该方法使用图像处理技术对采集到的数据进行分析和处理，并结合计算结果判断出缺陷的位置和形状。陈谋钦等[9]将二维视觉和三维视觉相结合，可以自动识别坝面缺陷，并获得缺陷的大小、形状和深度信息，但精度不是很高。

近几年以计算机视觉和机器学习为基础的缺陷检测方法已成为研究热点[10]。Gui等[11]提出了基于数据驱动和支持向量机的混凝土缺陷检测算法，就时序数据而言可有效检测出缺陷。Nishikawa等[12]提出了分步级联式混凝土缺陷检测算法，首先采用图像滤波算子进行预处理，然后消除残余噪声以便有效地检测出缺陷。Hoang等[13]建立了传统边缘检测与卷积网络两种缺陷检测方法，并进行了对比试验，结果表明基于卷积网络的缺陷分类识别率优于传统方法。Feng等[14]提出了基于主动学习的方法检测混凝土缺陷，该方法引入人工专家系统对较难分辨的数据样本进行重新标注，提高了缺陷的识别精度。Kim等[15]结合数字图像处理和形态学的方法，能够定量检测出毫米级的裂纹。Cha等[16]提出了基于全卷积网络的缺陷检测算法，可减少网络参数并提高缺陷检测的实时性。以上方法仅仅识别出了缺陷，并没有实现缺陷定位，无法得知缺陷位于图像中的具体坐标。Xue等[17]提出了基于RPN区域建议网络的缺陷检测识别算法，可识别并定位缺陷的位置。Chathurdara等[18]提出了一种基于自动编码器的结构损伤识别框架，可支持深度神经网络，并可用于求解高度非线性的模式识别问题。然而由于缺陷不具有结构化性质，定位指标并不是很高。Fei等[19]提出了一种基于深度学习的缺陷分割算法，并取得了较好的像素级检测效果，但检测精度仍有待提升。综上所述，虽然缺陷检测方法研究取得了一定的进展，但仅能获得粗略的裂纹定位信息，且训练得到模型的泛化性能和检测精度均有待提升。坝面混凝土裂纹存在形状不规则，分布随机、背景干扰因素多等问题，采用像素级语义分割方式实现裂纹检测更能满足实际需求。本文采用无人机搭载高清云台相机对水工混凝土大坝进行近距离图像采集；然后对采集图像进行预处理；其次以ResNet-152[20-21]网络结构和参数为核心架构完成裂纹特征提取，并设计网络的解码层进行裂纹像素级检测；通过迭代训练得到最佳模型性能，最后在测试集验证了模型的有效性。图1为整个裂纹缺陷识别流程。

图1 裂纹缺陷检测流程

1 坝面数据集

1.1 坝面图像采集

以亭子口水利枢纽大坝为研究对象。该大坝为重力型混凝土坝，坝顶高程465 m，最大坝高116 m，坝轴线总长995.4 m，共分50个坝段，从左到右依次为：1～16号为左岸非溢流坝段，轴线长292.1 m；17～20号为厂房坝段，轴线长112.0 m；21号为底孔门库坝段，轴线长20.8 m；22～26号为底孔坝段，轴线长85.0 m；27～35号为表孔坝段，轴线长158.5 m；36号为纵向围堰兼表孔门库坝段,轴线长25.0 m；37号为升船机坝段，轴线长42.0 m；38～50号为右岸非溢流坝段，轴线长260.0 m，现场坝面如图2所示。

图2 嘉陵江亭子口水电站大坝

为适应坝面的复杂环境，高效地获取图像信息，设计了系留式无人机系统如图3所示。该无人机采用系留式供电方式满足长时间作业需求，并搭载高清云台相机，通过控制云台转向调整合适的角度和焦距完成图像采集。无人机轴距为1 000 mm，尺寸为80 cm×80 cm×50 cm，最大起飞重量为6.3 kg，相机CMOS为12.8 mm×9.6 mm，镜头等效焦距为28 mm，图像像素为5 472×3 648。坝面环境处于半封闭状态，无法有效依靠GPS信号进行定位飞行，因此采用了双目视觉定位技术实现无人机定位。根据水电站实际坝面环境特点，同时考虑到厂房坝面高压设备对无人机安全的影响，图像采集重点在表孔和底孔坝段区域，最终共获得2 000幅高清图像。

图3 无人机作业场景

1.2 图像预处理及数据集创建

输入图像的质量对预测结果影响较大，因此数据预处理是很有必要的。针对获得的原始图像存在亮度低、有效数量少等问题，采用数据增强方法扩充裂纹图像数量和提高图像质量。首先剔除完全不含裂纹缺陷的图像，进而筛选出带有裂纹的有效图像。通常图像中裂纹像素与周围背景像素的亮度差别明显，多呈现出中间宽、两端窄、长度不一、部分形状呈拓扑发散状态，且具有缝隙宽度和一定的深度，据此挑选出500幅有效的裂纹图像，并采用专业标注软件完成裂纹像素的标注。为减小硬件的算力成本，同时扩充数据量，在选出的有效数据集进行裁剪、翻转、镜像等仿射变换，共获得1 040幅608×608图像块。图4为图像数据扩充示例。

图4 裂纹图像数据扩充示例

为充分开展模型训练及验证，从裂纹图像样本随机选择样本创建训练集、验证集和测试集3个子集。根据常规数据集分配方式设置子集的分配比例为8∶1∶1，因此最终获得训练集图像832幅、验证集和测试集图像各104幅。

2 裂纹缺陷识别模型搭建

2.1 模型整体结构

本文提出的裂纹缺陷检测网络模型由特征提取层和特征解码层两部分组成。特征提取是由多层普通卷积网络构成的特征提取层；特征解码是由反卷积网络构成的像素分割层，以编码后的特征图为输入，通过上采样不断将特征图恢复至原始图像大小，实现每个像素的分类[22]。提出的模型采用了ResNet-152作为特征提取层，ResNet-152作为多类别目标检测领域中常用的网络结构，该网络在大型ImageNet数据集中表现优异，完全可以迁移到其他数据集上以提取图像的高维抽象特征。坝面裂纹缺陷检测网络结构如图5所示。

图5 坝面裂纹缺陷检测网络架构

2.2 特征提取层

特征提取层的主要作用是完成输入图像的特征编码和提取图像特征。利用卷积和池化操作进行特征提取与降采样，实现对输入图像的特征编码。每个卷积层包含了批量归一化处理、ReLU激活函数及池化层，通过多层卷积运算可有效提取原始图像的丰富高维特征。具体而言，保留ResNet-152的卷积层结构及参数，并剔除掉分类层网络。从原始输入到特征提取层输出会经过4次降采样处理，即最小特征图分辨率为19×19。通常采用2×2的池化操作降低特征图分辨率，同时还能降低网络模型的计算量。图6为坝面裂纹特征提取层结构示意图。

图6 坝面裂纹特征提取层结构示意

2.3 特征解码层

为了获得端到端的像素级裂纹检测结果，采用上采样操作恢复特征图的尺寸，确保最终的输出与原始输入尺寸保持一致。常用的上采样操作包括反卷积和双线性插值，本文提出的模型主要采用了反卷积操作进行上采样。反卷积又称为转置卷积，但并非卷积的逆解，可将小尺寸稀疏矩阵变成大尺寸稠密矩阵。根据特征提取层中的不同降采样阶段获得不同的特征图，即分别利用1/8特征图、1/16特征图及1/32特征图作为特征解码层的部分输入，特征提取层的卷积层数越深，其感受野越大，特征图包含的个性化高级语义信息越丰富，卷积层数越浅，越接近于输入端，特征图包含的纹理、轮廓及颜色等信息越丰富。此外，卷积网络的层数太深，也可能导致梯度消失或过拟合问题。为此，在特征解码层分别利用了特征提取层的不同尺度的中间特征图提升特征利用率，改善模型收敛效果，以防止梯度消失和过拟合问题。由于输入图像的分辨率为608×608，因此1/32特征图的分辨率为19×19，1/16特征图的分辨率为38×38，1/8特征图的分辨率为76×76。首先对1/32特征图使用1×1卷积进行降维处理，再进行一次反卷积和两次3×3卷积操作，获得分辨率为38×38的特征图；1/16特征图首先进行1×1卷积降维，再使用连续的3×3卷积操作，最后与1/32的输出特征图叠加。为了与1/8特征图保持相应的维度，先后进行反卷积、1×1降维处理和2次卷积操作，获得76×76×256特征图后与1/8特征图进行叠加。最后，采用反卷积操作、1×1卷积降维操作及3×3卷积获得152×152×64的特征图，后续再接4倍扩大率的反卷积和1×1卷积操作，获得最终的608×608×2的特征图, 并输出模型预测结果。图7为特征解码层结构示意图。

图7 特征解码层结构

3 损失函数及评价指标

3.1 损失函数

通过分析坝面裂纹数据集可知，图像中的背景和裂纹的比例严重不均衡，最终结果导致背景的识别效果非常好，而裂纹的检测精度则较低。为此引入权重交叉熵损失函数，通过增加裂纹样本的损失的权重，减小背景样本的损失权重，以提高裂纹的检测精度。交叉熵通常用于表示两个概率分布的相似度，交叉熵的结果越小，越相似；交叉熵的结果越大，越相异。首先使用softmax函数对网络预测结果进行处理，然后分别计算正负样本的像素损失值Lo和Lb，并计算所有像素损失的总和l，最后计算其平均值得到最终的损失值。

(1)

(2)

l=lo+lb

(3)

式中：wo为正样本权重参数；to为正样本标签值；po为正样本预测值；wb为负样本权重参数；tb为负样本标签值；pb为负样本预测值；n为输入图单通道的像素总数。

3.2 裂纹缺陷检测评估指标

深度卷积网络预测出的结果经过形态学后期处理后，需要对预测结果进行评估。像素级别的裂纹检测本质上属于像素二分类问题，因此可以采用查准率P、召回率R、综合评价指标F值、平均交并比M作为评估指标。

(4)

(5)

(6)

(7)

式中：k为样本数量；TP为预测结果为裂纹样本，且标签也为裂纹样本的样本数；FN为预测结果为背景样本，但标签为裂纹样本的样本数；FP为预测结果为裂纹样本，但标签为背景样本的样本数；TN为预测为背景样本，且标签也为背景样本的样本数。

P表示所有预测为裂纹样本的像素中，像素标签为裂纹样本的概率;R表示所有标签为裂纹样本的像素中，正确预测为裂纹样本的概率;F指标由P和R共同决定，该指标为P与R的折中选择;M为平均交并比，表示所有裂纹、背景样本的预测结果与标签重复比例的平均值。

4 试验结果与分析

4.1 模型训练环境搭建

所有的试验任务都在一台图像工作站上完成，其硬件平台配置具有Intel核心i7-8750H，16 GB内存和6 GB显存的NVIDIA GTX 1060的显卡。采用Tensorflow 1.10深度学习框架来建立提出的裂纹检测模型。GPU加速的软件环境配置版本为CUDA-9.0和CUDNN-7.5，利用Anacoda-2以创建独立的Python 3.5环境。

4.2 训练结果及分析

模型训练的学习率初始值设置为0.000 1，训练周期设置为100，每次输入的图像数量为5。采用了Adam优化器进行梯度下降以计算参数更新增量。

图8展示了模型的损失值随训练轮数的变化趋势，验证集损失与训练损失值保持一定差值，在训练轮数经过70个周期后，损失值变化较为平缓，没有出现较大的异常波动，表明网络模型具有较好的稳定性。模型训练完成后，保存模型参数，加载未经训练的测试集数据，测试网络模型的缺陷检测性能。

图8 模型训练中训练集与验证集损失变化情况

图9所示为训练过程中，在验证集上的平均交并比变化情况。由图可知训练轮数达到30之前，虽然幅值波动较大，但总体上趋于增长趋势。当训练轮数接近40时，平均交并比逐渐趋于平稳状态。部分测试结果示例如图10(图中红色标记为识别示例，黄色框标记的为未能正确识别示例)所示，图中标注为红色部分为识别的裂纹结果，黄色为未能正确识别出的裂纹样本，从测试结果可直观看出所提模型能有效地识别出裂纹缺陷。但对于部分特征不明显的，深度较浅的裂纹则不能完整地检测出来，这也是后续工作提升的重点任务之一。

图9 模型训练中验证集上的平均交并比变化情况

图10 测试集部分测试结果示例

4.3 对比试验

为了验证本文提出方法的检测性能，将本文提出的方法与FCN[23]、U_Net[24]、Deeplabv3[25]语义分割模型进行了对比试验。FCN应用全卷积网络到语义分割任务，并在反卷积层增加卷积操作，融合多个尺度特征来提升提取全局特征的能力。U_Net是医学图像分割表现优异的网络模型，采用对称型结构网络设计，将浅层与深层特征直接对应拼接获得更多特征。Deeplabv3采用了空洞卷积来扩大卷积的感受野，以获得更大的特征范围。以上模型均在同样的数据上经过多次训练得到的测试结果。试验结果(表1)表明，本文提出的坝面裂纹缺陷检测方法在测试集上的各项指标，均高于其他模型的测试指标。

表1 不同方法的裂纹缺陷检测指标对比情况 单位：%

5 结 语

针对当前坝面巡检存在的问题，设计了坝面系留无人机采集系统，通过远程控制无人机完成坝面图像采集，提高了采集效率，降低安全风险。提出了基于ResNet-152网络的裂纹缺陷检测模型，利用不同层级特征图设计相应的解码网络，并进行权重参数训练。最后在测试集上进行模型性能验证，试验结果表明，所提模型的查准率P、召回率R、F值和平均交并比M分别达到了74.61%、78.71%、74.99%和73.34%。与其他方法的对比试验结果表明，该模型表现出更好的性能，能够有效地检测出坝面裂纹。本文提出的方法不仅减小了人力成本，还能有效地检测坝面裂纹缺陷，同时提升了水利水电工程的智能化和信息化程度。