刘浩翰,王钰涛,贺怀清，孙铖

(中国民航大学 计算机科学与技术学院，天津 300300)

轴承套圈沟道是精度很高的工作表面，表面粗糙度(本文特指Ra值)可达0.02 μm，圆度可达0.50 μm，其工作表面的纹理对轴承寿命及振动的影响很大，一些情况下采用轮廓仪或圆度仪进行评价已经不能适应特殊要求。例如，工作表面的表面粗糙度小于0.05 μm后与轴承振动的相关性已经很差，甚至会在某些场合出现负相关，即随着表面粗糙度的降低，轴承寿命和振动反而变差。

近年来，轴承行业对轴承工作表面的视觉评价方法进行了很多研究，但还未形成统一的标准，通常是各公司以图谱的形式控制质量，无法直接在线检查及实时反馈。国外某些著名轴承企业虽然在20年前就开始了视觉识别质量控制和光学分拣，但应用层面仍主要采用传统的人工检测方法[1]，依靠操作人员手感及目测的方式进行表面缺陷的判断与分类，效率低且主观因素较强，容易导致漏检和较高的错误率。

凭借客观标准性和高效性优势，计算机视觉技术逐步应用于工业生产中的图像自动分类，其核心的图像识别算法在具有明显特征的数据集中可以达到较高的准确度。常用方法有LBP特征提取算法[2]、HOG特征提取算法[3]和Haar特征提取算法[4]，其在实际应用中往往是针对特定数据集人为设计适合其特征的方法，由于人为设计难以涵盖所有缺陷特征信息[5]，此类算法所构建的模型复杂多变且效果不稳定。

深度学习的发展为图像自动分类提供了解决契机[6-11]，其利用多层卷积神经网络对大量数据集进行学习并通过训练提取特征，能够缓解复杂特征图像分类识别中建模困难的窘境。针对轴承沟道表面缺陷数据细节丰富，特征不突出，类间差异小，难以精确分类的特点，本文使用残差块作为主要特征计算方法，在深层网络中融入Inception模块[12]进行特征降维和拼接以获取更多的图像细节特征，在特征计算中引入批量标准化(Batch Normalization,BN)[13]进行数据正则化处理来加速模型收敛，并采用轴承沟道表面缺陷数据集进行了验证，以实现轴承沟道表面缺陷的高精度分类。

1 改进ResNet网络模型

残差网络模型[14]中残差块的提出有效缓解了深层次网络模型训练中梯度消失、模型退化的问题，近年来成为图像分类的主流模型，但是对于类间差别小图像的分类效果仍有待提升。网络层次加深的同时，模型的训练时间也随之加长，内部数据分布偏移现象加剧，故考虑在每层特征计算后对数据进行正则化处理来减少数据分布偏移的影响，使用归一化方法加快收敛速度。同时，在深层次模型训练中，语义的宏观表达能力增强，而对于轴承沟道表面缺陷数据集来说，丰富的细节特征对缺陷分类精度有重要影响，故在后期模型训练中考虑使用不同尺度的卷积计算进行特征融合，以此提升网络训练模型的精度。

1.1 残差网络模型

残差网络模型为多个残差模块的堆叠结构，残差单元结构如图1所示，残差模块改变了固有的堆叠网络结构，增加了恒等映射，这样通过残差的计算缓解了深层次网络梯度消失的问题。对于图像差别细微、类间区别微小的轴承沟道表面缺陷数据集，残差网络模型虽然比较适合，但并不能通过简单的加深网络提升精度。

图1 残差单元结构Fig.1 Structure of residual unit

1.2 改进ResNet模型

通过多次网络数量和参数的调整试验，在深度增加的同时进行图像特征的融合，改进ResNet网络模型的结构如图2所示，其包括4个(残差+BN)部分和2个(Inception+BN)部分，能够在不过度增加层数、参数的同时保证准确率。模型训练时在每次特征计算后加入BN正则化减缓数据分布偏移现象。在前期的特征计算中，残差模块中恒等映射的特殊结构可以很好缓解梯度消失的现象，进行网络的堆叠计算。越到网络深层，特征越抽象，而且每个特征所涉及的感受野也更大，故将Inception模块放入网络的较深层次，采用不同大小的卷积核进行特征计算以尽可能保证图像的细节信息参与最终的分类计算，保证训练精度。

图2 改进的ResNet模型Fig.2 Improved ResNet model

1.2.1 残差模块+BN

为增强模型的稳定性并加快训练速度，同时解决内部数据分布偏移的问题，使用批量标准化操作将每层结果数据进行处理，即

(1)

(2)

通过(2)式，特征值分布会重新拉回至标准正态分布，使特征值落于激活函数对于输入的敏感区间，避免梯度消失并加快收敛。加入BN正则化后的残差模块内部结构如图3所示。

图3 残差+BN模块Fig.3 Residual+BN module

1.2.2 Inception模块+BN

随着网络模型深度的增加，原始图像经过计算得到的特征则更加抽象，因此在网络的深层计算中引入Inception模块。如图4所示，每个Inception模块由前摄入层、并行处理层和过滤拼接层组成。前摄入层为常规的卷积计算；并行处理层包括1×1卷积、3×3卷积、5×5卷积和2×2最大池化这4个分支，每次卷积计算后同样进行BN正则化处理送入下层激活计算；过滤拼接层进行不同尺度卷积核计算后得到特征值的计算融合。采用不同规模、大小的卷积核计算，增加了网络的宽度和对尺寸的适应性，不同支路的感受野不同，因此计算后的特征值拥有了多尺度的特征信息。

图4 Inception+BN模块Fig.4 Inception+BN module

2 轴承沟道图像数据预处理

工业原始数据的实际采集过程困难且数据量有限，需进行数据预处理后才能输入改进ResNet模型进行缺陷分类。本文进行的数据预处理主要分为图像缺陷区域检测与提取、滑窗裁剪、数据增强3个步骤，如图5所示。

2.1 数据采集

试验数据采集于国内某精密轴承生产企业，采集场景如图6所示。由于套圈表面镜面反光严重，不利于图像采集，故采用D700同轴光源，在同轴灯中装置一块45°半透半反玻璃，将高亮度、高密度的LED阵列排列在线路板上构成一个面光源，面光源发出的光线经过透镜后映照在半透半反玻璃上，光线经全反射垂直照在被测物体上，从被测物体上反射的光线垂直向上穿过半透半反玻璃进入30万像素的工业相机摄像头。这样既消弭了反光，又防止了图像中出现摄像头的倒影，从而捕获明晰的图像用于进一步的剖析和处理。

图6 数据采集Fig.6 Data collection

轴承沟道表面缺陷样本共有1 230张图像，其中短丝类267张、砂轮花类533张、正常类428张，各类别的原始图像如图7所示，原始图像分辨率为640×480(单位为像素，下同)。

图7 轴承沟道表面缺陷的原始图像Fig.7 Original image of bearing raceway surface defects

2.2 图像缺陷区域检测与提取

缺陷部分在整幅原始图像中的占比极小，需要进行缺陷区域提取。本文采用选择性搜索的候选区域算法[15]将每幅图像相似度高的区域进行依次划分、合并，相似度计算中考虑了颜色、纹理、尺度和空间交叠这4个指标。

2.2.1 颜色

(3)

(4)

s(rt)=s(ri)+s(rj)，

(5)

式中：C为用区域的L1范数归一化后的向量；rt=ri∪rj；s()为区域的像素尺寸；下标i,j为区域索引号。

2.2.2 纹理

(6)

式中：t为求得的导数值。

2.2.3 尺寸

尺寸用于优先合并小区，其定义为

(7)

式中：s为整张图像的像素级尺寸。

2.2.4 空间交叠

空间交叠用于优先合并被包含进其他区域的区域，其定义为

(8)

式中：Bij为能够包含ri和rj的最小矩形框。

2.2.5 区域间最终相似度

将上述4个相似度以线性组合的方式组合在一起作为最终相似度。经选择性搜索算法进行的短丝缺陷区域检测效果如图8所示，图中红框为从原始图像中提取到的重点区域，由图可知原始的短丝集中缺陷区域被成功检测并提取。

图8 短丝缺陷区域检测及提取Fig.8 Detection and extraction of short wire defect area

2.3 滑动窗口裁剪

对原始图像集中缺陷区域检测提取后，进行选定分辨率规格(100×120)的滑动窗口裁剪并进行精确分类以保证数据集的质量。

如图9所示，短丝类的特征为表面被明显勾起，有片状的凸起；砂轮花类的特征为表面有小孔形态的压痕且小孔分布较为稠密；正常类的表面特征为表面平滑，纹理顺畅，色泽过渡平滑且均匀。

图9 滑动窗口裁剪后的轴承沟道表面缺陷图像Fig.9 Surface defect image of bearing raceway after cutting of sliding window

2.4 数据增强

深度学习的优势在于从大量数据中进行特征学习来不断优化模型，大规模且优质的数据是深度学习的基础,但从工业生产中获得的图像数据集有限，故需要进行数据集扩充。

使用数据增强方法对原始图片进行灰度化处理、旋转平移、颜色通道变更、锐化增强、高斯模糊等组合操作,进行数据集的扩充。数据增强后的数据集包含各类图像共7 380张，其中短丝类1 602张、砂轮花类3 210张、正常类2 568张。短丝类图像经过数据增强后的部分图像数据如图10所示。

图10 短丝类缺陷的部分图像增强数据Fig.10 Some image enhancement data of short wire defects

3 结果与分析

原始轴承沟道表面缺陷数据集经过数据预处理后送入改进ResNet网络进行模型的训练与优化。将预处理后的数据集划分为5 905张训练集图像(短丝类1 282张、砂轮花类2 568张、正常类2 055张)和1 475张测试集图像(短丝类320张、砂轮花类642张、正常类513张)。试验使用的深度学习框架为Tensorflow,Tensorflow-gpu版本为1.5，编程语言为Python,操作系统为Windows10，GPU配置为GeForce RTX 2060。

选用LeNet5模型与残差网络模型进行对比分析，评价指标为准确率、精确率、召回率和综合评价指标，各指标计算公式为

(9)

(10)

(11)

(12)

式中：Faccuracy为准确率，代表分类正确的样本数占总样本数的比例；CTP为真正例，实际为正预测为正；CTN为真反例，实际为负预测为负；CFP为假正例，实际为负但预测为正；CFN为假反例，实际为正但预测为负；Fprecision为精确率，代表正确预测为正的数量占预测为正的所有样本数量的比例；Frecall为召回率，代表正确预测为正占实际为正的样本数量比例；F1为综合评价指标，是精确率和召回率的调和平均值。

模型训练过程如图11所示，图中横坐标为训练的迭代次数，纵坐标为相应指标的数值，其中train acc，train loss分别代表模型训练时的准确率和损失值；val acc，val loss分别代表在测试数据集中验证模型效果时的准确率和损失值。由图11可知：LeNet5模型在训练和验证过程中的损失值一直维持在较高水平，准确率不高；改进ResNet模型的曲线更为平缓，准确率最高，收敛性也优于LeNet5和ResNet模型。

图11 各模型的训练过程Fig.11 Training process of each model

各模型的评价指标对比结果见表1，由表可知：LeNet5模型的各项指标数值在91%左右，ResNet模型和改进ResNet模型的各项指标均超过96%；与ResNet模型相比，改进ResNet模型各项指标(达到98.84%)均高于ResNet，这是由于改进ResNet模型加入了BN正则化的数据处理过程，使得loss值更快下降到相对稳定的较低水平，低于0.2且模型收敛性最好。在后期训练过程中，Inception模块的引入使得原始图像的细节特征不易丢失，准确率更高。

表1 各模型的评价指标Tab.1 Evaluation indexes of each model

为验证改进ResNet模型的鲁棒性，选取相似的钢材表面缺陷数据集NEU-CLS进行效果验证，该数据集收集了热轧钢带的轧制氧化皮、斑块、开裂、点蚀、内含物、划痕这6种典型表面缺陷，如图12所示。该数据集包括1 800个灰度图像，每类缺陷各300个样本。本文模型多次试验的准确率均不低于98.02%，算法通用性较强。

图12 热轧钢带表面缺陷示意图Fig.12 Diagram of surface defects of hot rolled steel strip

综上，针对轴承沟道表面缺陷数据集分类问题，改进ResNet模型的各项指标最优，模型平均准确率可达到98%以上且收敛性更好。

4 结束语

针对轴承沟道表面缺陷图像数据集差别细微的特点，提出适合此类数据特征的改进ResNet模型。与其他解决同类问题的模型相比，改进ResNet模型有效提高了轴承沟道表面缺陷图像的分类准确率。若应用到实际生产，可以实现轴承沟道表面缺陷图像的实时高精度分类。

在下一步工作中，将针对轴承厂家提供的第2批数据进行分类试验，进一步优化网络来实现更高的精度及更好的泛化性。