马文杰 王杰

摘要：针对带钢表面缺陷位置分布不均、类型复杂多样的特点，为保证特征提取的维度丰富性与识别准确率，提出一种基于多纹理特征融合与gcForest集成学习相结合的带钢缺陷识别方法MTF-gcForest。首先提取带钢表面的灰度共生矩阵、局部二值模式、灰度游程矩阵特征，以充分挖掘带钢表面的纹理信息。然后，将归一化处理后的特征进行融合，最后用gcForest分类器进行分类。实验比较了单纹理特征和多纹理特征的性能表现，以及多种分类器的分类精度。实验结果表明：基于MTF-gcForest方法的平均准确率达到97.22%，优于其他带钢表面缺陷检测算法，具有较强的推广意义。

关键词：带钢；缺陷检测；纹理特征；灰度共生矩阵；灰度游程矩阵；局部二值模式；gcForest

中图分类号：TH13 ；TG316.1+92 文献标志码：A doi：10.3969/j.issn.1006-0316.2024.02.002

文章编号：1006-0316 （2024） 02-0007-07

Study On Surface Defect Classification Method forStripSteelBased on MTF-gcForest

MA Wenjie，WANG Jie

（ School of Mechanical Engineering， Sichuan University， Chengdu 610065， China ）

Abstract：Aiming at the uneven distribution and complexity of strip steel surface defects， this paper proposes a strip defect classification method known as MTF-gcForest （Multi-Texture Fusion-gcForest） to ensure the dimensional richness and recognition accuracy of feature extraction. Firstly， the gray-level co-occurrence matrix （GLCM）， local binary patterns （LBP）， and gray-level run-length matrix （GLRLM） of the strip surface are extracted to fully excavate the texture information of the strip surface. Then， the features are normalized， fused， and finally classified with the gcForest classifier. The experiment compares the performance of single-texture feature and multi-texture feature and evaluates the classification accuracy of various classifiers. The experimental results show that the average accuracy rate based on the MTF-gcForest method reaches 97.22%， which is better than other strip surface defect detection algorithms with significant potential for widespread application.

Key words：strip steel；defect detection；texture feature；GLCM；GLRLM；LBP；gcForest

帶钢是一种长而窄的卷状扁平钢材，在机械制造、航空航天、化工生产等领域有着广泛应用。受限于原材料和加工工艺等因素，在生产过程中带钢表面会产生不同程度的缺陷，主要包括开裂、点蚀、表面裂纹等。这些缺陷不仅影响产品外观，同时会降低带钢的耐腐蚀性、耐磨性、抗疲劳性等诸多性质。为控制带钢的表面质量，带钢行业先后发展出了人工检测、涡流检测、红外检测、漏磁检测等检测方式^[1-3]。

近年来，随着机器视觉技术的高速发展，各种高效率的新型表面缺陷分类与识别算法大量涌现^[4]。周青山^[5]研究了GLCM（Gray-Level Co-occurrence Matrix，灰度共生矩阵）和HOG（Histogram of Oriented Gradient，方向梯度直方图）在带钢缺陷分类上的应用，准确率分别为81.93%和88.83%。刘启浪等^[6]从多尺度提取带钢的LBP（Local Binary Patterns，局部二值模式）傅里叶变换特征，利用SVM（Support Vector Machine，支持向量机）进行缺陷分类。王粟等^[7]提出一种引入高斯差分空间的改进多尺度LBP分类方法，分类精度达到95.7%。Zhou等^[8]提出一种混合数据驱动方法对钢丝绳的缺陷进行分类，通过提取u-LBP和GLCM特征进行融合后降维，利用优化后的SVM进行分类，获得比普通数据驱动方法更高的精度。王杨等^[9]利用MobileNet-V3和DenseNet神经网络模型做电枢缺陷检测，获得了较好的检测效果。杨婉琪^[10]针对带钢设计了十层的卷积神经网络，分类精度达到94.89%。

基于深度学习的算法建模过程复杂，需要大量已标注样本进行训练，同时训练过程还伴随着参数调试繁琐、计算开销较大的问题^[11]。相较之下，基于纹理特征的数据计算相对简单。但由于带钢表面缺陷情况复杂、各缺陷之间差异性较大，如果只提取单特征则有很大概率不能充分挖掘出图像的特征。刘启浪等^[6]和王粟等^[7]從多个尺度提取了LBP特征，但本质上仍然只提取了一个特征。Zhou等^[8]通过多特征融合和对钢丝绳进行分类，但钢丝绳的缺陷仅有两类，而本文带钢缺陷有六类，且形态各异，故本文在Zhou等^[8]提取LBP、GLCM特征的基础上，加入GLRLM（Gray-Level Run- Length Matrix，灰度游程矩阵）特征。GLRLM记录了GLCM所忽略的像素间的游程长度信息，可作为对GLCM的有益补充，使提取的特征更加丰富。实验证明通过该方法能获得较高的准确率。同时，因各类缺陷复杂度不同，为避免参数冗余，本文将gcForest（多粒度级联森林）^[12]作为分类器。该分类器具有计算开销小、超参数少、模型复杂度可自适应伸缩的特点。经过试验比较，该分类器较其他分类器有着更好的分类效果，满足带钢缺陷分类要求。

由此，针对带钢缺陷分类问题，本文提出一种基于多纹理特征融合与集成学习gcForest相结合的带钢表面缺陷分类方法。该方法从图像表面提取了LBP、GLCM、GLRLM三种特征进行融合，同时引入gcForest分类算法进行分类，在带钢表面缺陷分类问题中表现出了较高的准确率，对实际生产具有指导作用。

1  MTF-gcForest方法

1.1 特征提取

1.1.1  LBP

LBP由Ojala等^[13]提出，是一种兼具旋转不变性和灰度不变性的局部纹理特征提取算子。原始的LBP算子以中间像素为阈值，对该像素的3×3领域进行二值化，产生一个8位二进制数，以此作为该像素的编码。后来Ojala等^[13]将LBP算子的邻域扩展到了任意邻域，并以圆形邻域代替了正方形邻域。如图1所示，取LBP算子的半径为1，得到该像素的编码为：00110110。实际带钢表面LBP特征提取结果如图2所示。

1.1.2  GLCM

GLCM由Haralick等^[14]提出，反映了图像灰度关于方向、相邻间隔、变化幅度的综合信息。定义为从灰度为i的像素点出发，与之间隔d、方向的灰度为j的像素点的数量或概率。计算为：

（1）

式中：G为最终的数量或概率；P为频率；L为灰阶数。

由于GLCM不能直接提供纹理特性，因此需要计算它的纹理统计属性，常见的统计属性共14种，本次实验提取了其中常用的6种，分别计算为：

对比度＝             （2）

相异性＝             （3）

同质性＝             （4）

角二阶矩＝                （5）

能量＝            （6）

相关性＝     （7）

式中：为频率形式的GLCM矩阵；和分别为横向和纵向灰度级的平均值，和分别为横向和纵向灰度级的标准差。

本次实验分别取0°、45°、90°、135°，d取1，共得到24维特征向量。GLCM的提取结果如图3所示。

1.1.3  GLRLM

GLRLM定义为从灰度值为i的像素点出发，在方向，与其连续相邻数为j的像素点的数量或概率，用表示。和GLCM类似，GLRLM也需要计算统计属性。实验中，分别取0°、45°、90°、135°，共得到11维特征向量。

1.2  gcForest

gcForest是周志华等^[12]提出的基于决策树的集成方法，其包括了多粒度扫描和级联结构两个部分。

1.2.1 多粒度扫描

多粒度扫描首先对输入的原始特征利用滑动窗口进行采样，然后将得到的特征子样本向量分别用随机森林和完全随机森林进行训练，得到概率向量，最后将向量进行拼接作为输出。过程如图4所示，得到：

（8）

式中：S为特征向量個数；P为输入向量维度；K为滑动窗口维度；为滑动步长。

每个森林输出C维类向量，拼接后的输出结果为2×S×C维向量。

1.2.2 级联结构

多粒度扫描得到的特征向量，通过级联森林处理后进行预测。

如图5所示，级联森林的层数由模型自适应调节，每一层都包含多个不同的随机森林和完全随机森林，它们会将每棵决策树输出的预测概率进行平均，多个森林的输出结果构成类分布向量，并与原始的特征向量进行拼接作为该层输出。每一层的输出将会在验证集上进行验证，如果预测效果较前一层没有明显提升，则训练过程终止。

1.3  MTF-gcForest

综合以上描述，本文先提取带钢表面的LBP、GLCM、GLRLM特征，使其纹理信息得到充分挖掘，这些特征在归一化后采用向量拼接方式进行融合。同时利用gcForest作为分类器进行分类，此即构成了MTF-gcForest（Multi- Texture Fusion-gcForest，多纹理融合多粒度级联森林）带钢缺陷分类方法。本方法的流程图如图6所示。

2 实验结果与分析

为测试MTF-gcForest方法的有效性，本文实验选取NEU-CLS数据集^[15]进行验证。该数据集共有1800幅图像，如图7所示，包含了六类常见的带钢表面缺陷，每类缺陷包含300幅图像，图像大小为200×200。

由于该数据集样本量较小，为增加训练的数据量、提高模型的泛化能力及鲁棒性，本文对图像进行了数据增强。增强后共得到14 400张图像。

该实验代码用Python 3.7编写，测试环境为Windows 10系统，Intel CPU i5 7300HQ，主频2.50 GHz，内存16 GB。

首先，将增强后的数据集按照7：3的比例划分为训练集和测试集，分别提取数据的LBP、GLCM和GLRLM特征。然后将这些特征分别采取单独、两两融合、全部融合的方式进行分类，前两种的分类器为SVM和gcForest，第三种则以多个分类器进行比较测试。

实验结果如表1所示，可以得出：

（1）随着纹理特征的增多，各特征的分类准确率都获得了不同程度的增强。全部融合的准确率优于两两融合的准确率，优于单特征的准确率。

（2）从单特征和双特征分类的比较中可以看出，gcForest的准确率优于SVM。在三特征融合的比较中，gcForest较其他分类器取得了更高的分类精度。

由此可以得到如下结论：

（1）多特征融合的方法能充分挖掘带钢表面的纹理特征，准确率比单特征方法更高。

（2）gcForest较其他分类器有着显著的优势，更适合用于带钢缺陷分类任务。

在gcForest分类器中，采用了3个滑动窗口，扫描过程中随机森林和完全随机森林的个数分别均为500个。在级联结构中，每个森林包含100棵树，训练自动终止于第4层，训练时间110.69 s，测试时间1.853 s。

MTF-gcForest方法实验结果如图8所示。可以看出，在内含物和划痕两类中错误分类现象较多，这是由于数据集中有两类缺陷共同存在的现象，如图9所示。在排除这部分缺陷后，准确度获得了进一步提升。

3 结论

本文提出了一种基于多纹理特征融合与集成学习gcForest相结合的带钢表面缺陷检测方式，旨在提高带钢表面缺陷检测的准确率。实验结果表明，MTF-gcForest方法能充分挖掘带钢表面的缺陷特征，相较于单一特征提取方式与SVM分类方法拥有更高的准确率，分类精度达到了97.22%，具有广泛的应用前景

参考文献：

[1]赵亚飞. 基于涡流技术的钢板表面缺陷检测系统研究[D]. 沈阳：沈阳工业大学，2017.

[2]陈大鹏，毛宏霞，肖志河. 红外热成像无损检测技术现状及发展[J]. 计算机测量与控制，2016，24（4）：1-6.

[3]宋瑞祥. 冷轧板的生产和最新检测系统[R]. 上海：上海宝钢集团公司钢研所科技信息中心，1995：21-26.

[4]郑梁，刘桂然，朱孝晗. 多通道一维残差卷积神经网络在风力发电机组轴承故障智能诊断中的应用[J]. 机械，2023（3）：1-7.

[5]周青山. 面向带钢表面缺陷图像的特征提取算法研究[D]. 武汉：华中科技大学，2016.

[6]刘启浪，汤勃，孔建益，等. 基于多尺度LBP特征的带钢表面缺陷图像SVM分类[J]. 组合机床与自动化加工技术，2020（12）：27-30.

[7]王粟，李庚，曾亮. 高斯差分空间的多尺度改进CLBP对带钢表面缺陷的分类[J]. 华侨大学学报（自然科学版），2020，41（4）：534-540.

[8]ZHOU P，ZHOU G，LI Y，et al. A Hybrid Data-Driven Method for Wire Rope Surface Defect Detection[J]. IEEE Sensors Journal，2020（20）：8297-8306.

[9]王楊，王杰，刘剑歌，等. 基于机器视觉的电枢缺陷检测系统[J]. 组合机床与自动化加工技术，2021（4）：116-120.

[10]杨婉琪. 基于卷积神经网络的带钢表面缺陷图像分类算法研究与实现[D]. 武汉：华中科技大学，2019.

[11]叶之骞，钟紫鹏，邓永聪，等. 基于Mixup数据增强的CNN-GRU深度学习电火花线切割放电状态识别[J]. 机械，2023，（9）：8-15.

[12]ZHOU Z H，FENG，J. Deep forest： towards an alternative to deep neural networks[C]. IJCAI International Joint Conference on Artificial Intelligence，2017：3553-3559.

[13]OJALA T，PIETIK?INEN M，HARWOOD D. A comparative study of texture measures with classification based on featured distributions[J]. Pattern Recognition，1996，29（1）：51-59.

[14]HARALICK，ROBERT M，SHANMUGAM，et al. Textural Features for Image Classification[J]. Systems， Man and Cybernetics，IEEE Transactions，1973（1）：610-621.

[15]K. SONG，Y. YAN. A noise robust method based on completed local binary patterns for hot-rolled steel strip surface defects[J]. Applied Surface Science，2013（285）：858-864.

[16]Schonlau M，Zou RY. The random forest algorithm for statistical learning[J]. Stata Journal，2020（3）：3-29.

[17]T. CHEN，C. GUESTRIN. Xgboost： A scalable tree boosting system[C]. In Proceedings of the 22NdACM SIGKDD International Conference on Knowledge Discovery and Data Mining，ACM，2016：785-794.

[18]ANNA VERONIKA DOROGUSH，VASILY ERSHOV，ANDREY GULIN. CatBoost： gradient boosting with categorical features support[C]. Workshop on ML Systems at NIPS 2017，2017.

[19]GUOLIN KE，QI MENG，THOMAS FINLEY，et al. LightGBM： A Highly Efficient Gradient Boosting Decision Tree[C]. Advances in Neural Information Processing Systems 30 （NIPS 2017），2017：3149-3157.