邓 慧，崔亚飞

(永州职业技术学院 智能制造与建筑工程学院，湖南 永州 425100)

近年来，基于机器视觉[1]、人工智能[2]等技术的蓬勃发展，目标检测技术广泛应用到各个领域。机器视觉检测技术通过相机采集图像，再通过图像处理算法对采集图像进行预处理，之后通过轮廓提取与模板匹配达到目标识别和定位缺陷的目的[3-5]。但是机器视觉技术输入图像尺寸较大时，它们需要更多的运行时间，对现场环境和工件形状、背景颜色有较高要求，泛化能力较差。铝型材表面缺陷无论是种类、面积还是形状都很复杂，传统机器视觉图像处理技术难以满足检测要求。

2012年，Krizhevsky[6]等人提出一种叫AlexNet的深度卷积神经网络，大获成功。随后深度学习快速发展，特别是涌现出众多基于深度学习的优秀目标检测识别技术[7]，如R-CNN[8]、Fast R-CNN[9]、Faster R-CNN[10]、Cascade R-CNN[11]相继提出。基于深度学习的目标检测技术直接从数据中学习物体特征，较少受到环境因素的影响，因此，在泛型目标检测领域取得了显著突破。

随着《德国工业4.0》《中国制造2025》[12-13]等战略的出台，在人力成本急剧上涨的背景下，传统企业急需转型升级，传统制造业正逐步进入智能制造时代。本文结合前沿的目标检测技术，针对铝型材缺陷目标检测的行业痛点，在Faster R-CNN网络的基础上，设计了一种改进的级联Faster R-CNN算法。

一、目标检测现状

目标检测是一个复杂的问题，需要解决两个主要任务。一个是识别任务，识别检测目标与背景的区别，并且能给识别的检测目标所属类别；另一个是定位任务，必须给不同的识别检测目标分配精确的边界框。目标检测现状以2012年Krizhevsky等人提出的AlexNet为界限，之前的传统目标检测方法以图像处理和视觉为主，之后的目标检测以深度学习为主。

2012年之前，目标检测主要有Haar、SFIT、HOG、SURF、SPM、LBP、SVM等[13-14]图像处理和计算机视觉的检测算法，算法流程如图1所示。

图1 检测算法流程

传统目标检测算法采用不同的滑动窗口在图像的不同位置选取候选区域，然后进行特征提取，提取的特征主要围绕底层特征和中层次特征来展开，像颜色，纹理等，最后把这些特征送到分类器进行分类和识别。

二、铝型材算法设计与改进

(一)算法流程

针对铝型材表面缺陷的特点，本文在Faster R-CNN网络基础作了3个方面的改进，如图2所示。首先，主干网络选择ResNeXt152，ResNeXt网络是ResNet的升级版，升级内容为引入Inception的多支路的思想；与 ResNet 相比，相同的参数个数，结果更好。其次，针对铝型材缺陷框存在尺度变化大的问题，在模型中引入了FPN(特征金字塔网络)，即使缺陷很小，也能充分地学习到特征，提高了网络的检测精度。最后，在two-stage的基础上还用到了一种Cascade R-CNN级联检测器方法，该方法可以有效地提高铝型材的检测准确率。

图2 改进Faster R-CNN后基本网络结构

(二)加入Multi-stage多阶段训练方法

第一个改进点是用到Multi-stage多阶段模型训练方法。第一阶段，本文用有缺陷的样本数据集来训练识别模型，可以识别10类有缺陷样本；第二阶段，通过训练的模型测试无缺陷的样本数据集，经实验发现，无缺陷数据集也会产生有缺陷的结果，生成假阳性数据集；第三阶段，通过假阳性数据集和有缺陷数据集一起再次训练识别模型，可以识别11类，其中10类缺陷样本和1类无缺陷样本。

改进Multi-stage多阶段模型的原因是第一阶段模型学习到的特征是比较浅的，它的训练并不充分，所以需要把这个模型训练结果拿来检测无缺陷样本数据集，对无瑕疵样本进行检测，发现出现了大量的误检，大概生成了4000多的误检，因此本文认为这部分误检的结果是一个很好的对抗样本，可以把这个假阳性样本加入到模型的训练集，直接让模型去学习没有缺陷的图像特征和已知的10类缺陷之间产生的一个关系，让这个模型学到更好的特征。经过实验测试可以得出，只用有缺陷的样本来训练的话，均值平均精度mAP只有77.8%，如果用Multi-stage多阶段的mAP是80.8%，故本文增加了Multi-stage多阶段的训练方法。

(三)改进Faster R-CNN检测模型

第二个改进点是用到了Cascade Faster R-CNN的结构。本文所用铝型材的缺陷没有一个明显的区域，传统的Faster R-CNN两级的检测结构，就是说先通过一阶检测器RPN网络生产预测框，然后再通过二阶检测器对边界框进行回归和分类。该模型难以预测一个比较准确的边界框的位置，包括人也很难给出比较准确的边界框的位置，所以增加了识别的难度，其实想要的效果模型能给出精确的边界框的位置。

基于这个问题，本文从网络结构出发，研究边界框回归如何能回归出比较好的位置。在模型训练的时候，它的重叠度IOU的阈值是比较重要的。通常情况下，IOU的阈值会选择u=0.5左右，如果IOU的阈值选择小的话会有非常多的噪声；如果选择大的话检测性能又会下降。但是使用u=0.5回归的边界框质量差，不适合精确定位。如果想要精确的边界框，则需要用IOU的高阈值来训练检测器。本文在传统的基础上增加了H2、H3的检测器，如图3所示。H1的检测器阈值还是u=0.5，H2的检测器阈值u=0.6，H3的检测器阈值u=0.7。H2的输入是H1的边界框回归输出，H2的IOU会在0.5的基础上有所提高。同理，H3的输入是H2的边界框输出，通过这种形式，不仅让我们的检测结构有了H1常规的边界框输出，还有更好阈值的检测器的输出，得出最终的结果。

图3 改进Faster R-CNN网络

三、实验过程

(一)铝型材数据集

铝型材是佛山南海的支柱性产业，在铝型材的实际生产过程中，由于各方面因素的影响，铝型材表面会产生裂纹、起皮、划伤等瑕疵，这些瑕疵会严重影响铝型材的质量。该瑕疵数据集是来自某企业某一生产线在某一段时间段实际生产中有瑕疵的铝型材监测影像数据，每个影像中包含一个或多个瑕疵。

(二)数据集统计分析

本数据集共有图像4536张的训练数据，包括无缺陷图片1351张，单瑕疵图片2776张，多瑕疵图片229张，该数据集样本量比较少，同时不同类缺陷之间存在比较大的样本不均衡。每种瑕疵类别所拥有的样本数量极其不均匀，有些类别的样本数量特别少，例如：喷流类，漆泡类，而漏底类瑕疵样本远高于其他类型的瑕疵样本数量。

(三)实验平台

本文实验所用的计算机配置为：CPU为I5-9400F，内存为16G，显卡为RTX 2060 6G，图像处理使用的是OpenCV，深度学习算法框架选用的是TensorFlow2.0。

四、实验结果与数据分析

本文训练使用的ResNeXt101为101层，ResNeXt105为105层；FPN输入的通道数为[256，512，1024，2048]；级联检测器H1的IOU阈值为0.5，H2的IOU阈值为0.6，H3的IOU阈值为0.7；每种模型迭代总次数为300000次，共进行了20次训练，训练结果如表1所示。

结果展示了本文所用的几种模型在铝型材数据集上的测试结果。从表1数据可以看出，Faster R-CNN模型准确率只有62.7%，其他三种网络模型都使用了ResNeXt101和ResNeXt105网络，但是ResNeXt105网络比ResNeXt101网络模型的准确率高。ResNeXt105网络优于ResNeXt101网络，主要是因为ResNeXt105比ResNeXt101拥有更多的参数，精度更高，所以结果会更好。同时，本文改进后的FPN+Cascade R-CNN+Multi-stage网络模型检测精度为81.40%，相比于Faster R-CNN、FPN和FPN+Cascade R-CNN网络模型有所提高，说明改进的FPN+Cascade R-CNN+Multi-stage网络模型具有良好的有效性和鲁棒性，综合表现优于其他网络。

表1 三种网络模型数据对比

五、结论

本文在传统的目标检测框架Faster R-CNN的基础上，提出一种改进的Cascade Faster R-CNN来实现对铝型材目标检测的识别与定位。经过实验验证，该算法主要有以下优点：迭代训练充分利用无缺陷样本，增强模型的泛化能力；相比于ResNeXt101和ResNet，ResNeXt105具有强大的特征提取能力；基于FPN的多尺度特征网络进一步提升准确率；级联Cascade Faster R-CNN网络逐阶训练，可以更好地抑制假阳性，减少过拟合问题。本文提出的改进的Cascade Faster R-CNN相较于传统网络模型具有较高的正确率，为类似小目标缺陷检测领域提供了技术参考。