林 军，康高强，涂振威，徐阳翰，岳 伟，熊群芳

（中车株洲电力机车研究所有限公司，湖南 株洲 412001）

0 引言

扣件和钢轨是轨道的重要组成部件。扣件将钢轨紧固在轨枕之上以防止钢轨出现横、纵向偏移[1]，钢轨则提供平顺的表面并引导车轮滚动[2]，两者共同作用，为列车提供安全可靠的轨道运行环境。然而，轨道零部件在长期运营之后会出现不同程度的伤损[3]。扣件缺损包含断裂和缺失；钢轨伤损可细分为波浪磨耗、重型划痕、擦伤压陷、光带异常和踏面剥离等[4]。损伤零部件若长久失修，可能会导致钢轨变形、塌陷等问题，继而影响列车的正常运行，严重时将导致列车脱轨甚至翻车等重大交通事故。针对轨道零部件的缺陷检测，传统的人工巡检方式存在耗时耗力、依赖经验、易漏检误检等问题[5]。目前，基于计算机视觉的轨道零部件缺陷检测方法，因其获取的轨道图像具有良好的可视性、可追溯性，且缺陷分析具有自动化、快速化及智能化等诸多优势，受到学界和工业界的广泛关注。根据对轨道图像处理方式的不同，可将其分为传统方法[6-8]和深度学习方法[9-11]。传统方法通过分析轨道图像具体特点，手工提取图像的几何尺寸、灰度等底层特征，并设计缺陷判据以判定是否存在缺陷，在特定场景下具有较高的缺陷识别率，但存在手工设计特征烦琐、泛化性能较差等缺点。深度学习方法通过收集大量轨道数据样本，训练深度卷积神经网络，自动学习图像深层特征并产生结构化输出，不仅克服了手工设计特征局限性，而且大大简化了缺陷检测流程。

针对钢轨缺陷，文献[12]提出基于水平投影法和逻辑操作来提取钢轨表面区域信息，并使用BP神经网络进行缺陷分类，但其提取轨面区域算法较烦琐，检测速度有待提高；文献[13]利用改进Otsu算法对缺陷进行分割，但其缺陷提取的精确度很大程度受阈值影响，鲁棒性较差；文献[14]提出一种基于语义分割的钢轨表面缺陷检测方法，其利用一种级联自编码结构的语义分割网络来预测掩码，再将分割结果进行分类，但其分割网络过程较复杂且后处理工作较烦琐，导致缺陷检测速度较慢。针对扣件缺损，文献[15]提出一种基于图像融合特征和贝叶斯压缩感知的图像分类识别方法，其根据系数矢量中对应训练样本类别各元素的L2范数来判定待测试扣件的状态，测试准确率较高，但受环境因素影响较大，算法鲁棒性较差；文献[16]提出一种改进YOLO V3算法的扣件缺陷检测方法，其通过改进网络结构以适应小目标检测，实现了较高的扣件缺陷检测准确率，但其模型泛化能力仍需进一步验证。

深度学习方法在缺陷样本充足的情况下，具有较好的检测效果；但在轨道应用场景中，零部件缺陷存在样本稀缺、采样困难、部分缺陷细微特征不明显等问题，极大地限制了深度学习方法的应用，因此需进一步研究并提升模型在缺陷样本稀缺情况下的泛化能力，以减少过拟合。另一方面，传统方法虽手工设计特征烦琐，但在特定场景下依然具有较好的检测效果。因此将深度学习方法和传统方法结合将是少样本条件下缺陷检测的重要研究方向之一。

综上，为提升样本不均条件下的缺陷检测效果，本文提出一种融合实例分割、细粒度图像分类、传统几何判据的级联缺陷检测网络。其首先在实例分割阶段通过改进类别损失函数，采用Focal Loss损失函数以平衡正负样本比例，定位扣件和缺陷钢轨；接着，针对缺陷扣件稀缺问题，对扣件进行几何特征提取并作定量分析以判定是否存在缺陷；最后，针对钢轨缺陷种类繁杂且易混淆问题，提出一种“实例分割+细粒度图像分类”的两阶段缺陷检测网络，并引入标签平滑技术以增大类间距离，提升了钢轨缺陷的细分类准确率。

1 基于实例分割的轨道零部件定位

实例分割网络可对轨道零部件同时进行检测和定位，是后续扣件缺陷检测、钢轨缺陷检测的重要基础。本文选用单阶段的YOLACT[17]实例分割算法，其分割精度较高且速度较快。

YOLACT将实例分割拆分为两个简单的并行过程：第一个分支利用FCN来产生一系列与图像大小一致的“prototype masks”，且不依赖于任一特定实例，可以用来在空间中定位实例；第二个分支是给目标检测分支添加一个输出，对每个anchor预测“mask coefficients”，用来识别单个物体的类别。这两个并行过程就像人类视觉辨别物体时先定位后分割的过程。因为这两个分支可以同时计算得到，且最后可使用单个矩阵相乘来实现两者的组合，这样既保证了特征域的空间相关性，又保证了单级网络的快速性。

针对轨道零部件在图像中所占比例较小、缺陷部件和正常部件尺寸比例悬殊等特点，为了满足工程部署需要，对其实例分割网络作了以下改进：

（1）引进Focal Loss类别损失函数

YOLACT类别损失函数使用的是在线困难样本挖掘（online hard example mining，OHEM）算法，其核心思想为根据输入样本损失值的大小，筛选出对分类和检测影响较大的困难样本，并将这些困难样本应用在随机梯度下降中训练。OHEM算法虽然增加了错分类样本的权重，但却忽略了易分类样本，易使模型陷入局部最优。事实上，扣件和钢轨在轨道图像中所占比例不到20%，远远小于背景所占比例。若不加以干预，损失将被大量的负样本所占据，主导着网络训练方向，导致模型对少样本欠拟合，因此本文引进Focal Loss类别损失函数：

式中：αt——平衡正负样本重要性的因子；γ——调节简单样本权重降低速率的因子；pt——衡量模型预测值与真实值之间接近程度的因子。

样本越易区分，pt越接近1，则（1-pt）趋于0，此时类别损失将趋近于0；相反，样本越难区分，pt越接近0，则（1-pt）趋于1，此时贡献的类别损失不变。

Focal Loss实质上是一种可变比例的交叉熵损失函数，其将样本不平衡问题转化为难易样本分类问题。一般来说，样本多的容易学习，分类准确率高；样本少的较难学习，分类准确率较低。当某一类别分类准确率较高时，其被视为易分类样本。动态降低易分类样本的权重，使得模型在训练中更加快速且专注于难分类的样本，最终实现在样本不均衡情况下较高的缺陷检测率。

（2）轻量化

本文将YOLACT骨干网络从ResNeXt101替换成ResNet18，结合特征金字塔（feature pyramid networks，FPN）作为特征提取网络，之后将实例分割分为两个并行分支：第一个分支利用全卷积网络ProtoNet产生一系列与图像大小一致的模板掩码（prototype masks）；第二个分支是在目标检测分支基础上添加掩码系数输出。为进一步降低网络计算量，本文将模板输出网络（ProtoNet）最后一层的模板输出数从原来的32减少为16。最后，利用式（2）矩阵相乘来实现两者的组合：

式中：M——实例分割掩码（instance masks）；P——h×w×k的模板掩码；C——n×k掩码系数（mask coefficients）；σ——sigmoid激活函数。

这样，通过简单的矩阵相乘，既保证了特征域的空间相关性，又保证了单级网络的快速性。

2 轨道零部件缺陷检测

如何在有限的样本条件下实现缺陷的可靠检测，是轨道缺陷检测面临的关键问题。为此，本文提出了一种基于几何判据的扣件缺陷检测和基于改进细粒度分类的钢轨缺陷检测的级联轨道零部件缺陷检测方法。

2.1 基于几何判据的扣件缺陷检测

事实上，正常扣件样本量充足而缺陷扣件样本稀缺。若直接采用深度学习方法检测扣件缺陷，则会因正负样本数量极不平衡使网络过拟合，导致缺陷检测率低下、泛化性能差等问题。若单独使用传统图像算法，采用手工设计特征来检测扣件缺陷，则受环境复杂多变、扣件类型和装配方式多等因素影响，将导致扣件缺陷误检率高、应用场景受限的问题。因此本文提出将深度学习方法和传统方法相结合，以提高扣件正常、缺陷样本不平衡条件下缺陷检测的可靠性。图1示出常见扣件类型缺陷，其有以下先验特征：（1）扣件通常是成对出现，可分为w型和e型等类型，根据装配方式不同，在轨道两侧呈镜面对称或原点对称；（2）拍摄用相机位于轨道正上方，两侧扣件距离相机位置等高等宽，具有非常接近的相机畸变系数，因此在最终成像图片中，两者的形态和大小非常接近；（3）两侧扣件同时出现缺损或缺失的概率极低，这为本文提出对比缺陷判据提供先天优势。

图1 扣件及钢轨常见缺陷Fig.1 Fastener and rail defect

基于这些先验知识和本文所提的方法，比较左右扣件的差异并判别是否存在缺陷，具体判别流程如图2所示。首先，使用上述实例分割网络检测扣件，提取轨道两侧扣件掩码，若在钢轨两侧只检测到单个扣件掩码，则认定为扣件缺失；之后，对扣件掩码进行全局二值化和轮廓查找处理并分别计算两侧扣件轮廓长度（l1和l2），如式（3）所示，若钢轨两侧扣件轮廓长度差大于LT，则认定存在扣件缺损。

图2 扣件缺陷检测流程Fig.2 Fastener defect detection flowchart

式中：LT——预定义的阈值。

相比常见的深度学习缺陷检测方法，本文提出的“实例分割+传统图像处理”方法不受缺陷样本稀缺的影响，通用性强、泛化性能好。在实例分割训练阶段，不需考虑缺陷样本稀缺问题，训练正常扣件样本即可；在推理阶段，对扣件掩码进行轮廓查找操作并计算像素长度，定量对比分析两侧扣件的差异，以此判定扣件是否存在缺陷。本方法可有效检测w型和e型等多类扣件的缺失、缺损等缺陷，具有缺陷检测率高、泛化性能好等优势。

2.2 基于改进细粒度分类的钢轨缺陷检测

钢轨缺陷主要有波浪磨耗、重型划痕、擦伤压陷、光带异常和踏面剥离，图3示出正常钢轨及5类常见钢轨缺陷。受钢轨所占原图区域比例较低、正常钢轨和缺陷钢轨数量差异巨大、缺陷类别样本不均衡、缺陷差异细微等因素影响，不论使用图像分类还是实例分割方法，都会出现漏检率高、误报率高的问题。

图3 正常钢轨及5类常见钢轨缺陷Fig.3 Normal rail and five defects of rail

为解决上述问题，应首先区分缺陷钢轨和正常钢轨，之后再对高分辨率的缺陷钢轨区域进行细分类，以实现更高的缺陷检出率和缺陷细分类准确率。基于此，本文提出通过融合实例分割和图像分类实现钢轨级联缺陷检测。缺陷检测具体流程如图4所示：第一阶段，使用分割网络，完成钢轨定位和缺陷检测；若存在缺陷，则提取高分辨率钢轨图像并送入第二阶段轻量级细粒度分类网络，实现钢轨缺陷细分类。本文使用改进的弱监督数据增强网络（weakly supervised data augmentation network，WS-DAN）[18]方法识别钢轨的缺陷类别。

图4 钢轨缺陷检测流程Fig.4 Flowchart of rail defect detection

（1）WS-DAN细粒度分类网络

该方法采用基于弱监督学习的图像增强技术，结合注意力机制，使网络聚焦差异关键区域，重点学习细微差异，实现精细化分类。图5示出细粒度分类网络结构。

图5 细粒度分类网络结构Fig.5 Structure of fine-grained classification network

在训练阶段，首先对原图进行特征提取，并通过弱监督注意力学习生成注意力图（attention map）来表征对象的显著特征；之后，一方面通过注意力裁剪（attention crop）和注意力删除（attention drop）的方式实现图像增强并将增广数据集送入网络训练，另一方面利用双线性注意力池化机制融合注意力图和特征图；最后，计算交叉熵损失。

3 实验

本文实验分为轨道零部件定位实验、扣件缺陷检测实验和钢轨缺陷检测实验3个部分。实验软件环境如下：Ubuntu 16.04，NVIDIA Tesla V100 16G，Python 3.8，Pytorch 1.8。

3.1 轨道零部件定位实验

为验证本文提出的基于实例分割的轨道零部件定位算法的有效性，选取从多条高速铁路线路和地铁线路上收集的轨道零部件图像作为本文的数据集。从数据集中筛选并人工标注了3 015张轨道零部件图像作为训练集，其中包含w型扣件图像858张，e型扣件图像3 894张，正常钢轨图像1 012张，缺陷钢轨图像1 541张。

对训练集训练600个周期，使用ImageNet预训练模型，前500次迭代使用预热学习率。将初始学习率设置为0.001，在第300个和第500个周期时学习率分别衰减为初始学习率的0.1倍和0.01倍。

本文采用mAP（均值平均精度）指标对轨道零部件定位模型的准确性进行验证，其定义如式（11）～式（14）所示：

式中：P——精确率；R——召回率；TP——检测正确的轨道零部件个数；FN——未被检测的轨道零部件个数；FP——检测错误的轨道零部件个数；TP+FP——检测出的轨道零部件个数总数；TP+FN——真实轨道零部件个数总数；AP——PR曲线所围成的面积，代表平均精度；C——类别数；APi——第i类的mAP值。

图6示出IoU（平均交并比）分别取0.5到0.95之间10组阈值时模型的边界框mAP和掩码mAP检测结果，并将原YOLACT算法和本文改进的YOLACT算法进行对比。IoU阈值越高，代表检测难度越大。可以看出，本文提出的改进YOLACT算法在边界框mAP和掩码mAP指标上都优于原YOLACT算法的，具有更精确和更细腻的分割结果。

图6 实例分割模型mAP对比Fig.6 mAP comparison of instance segmentation models

为验证本文改进的实例分割网络的精度和速度，将其与YOLACT、SOLOv2和BlendMask做对比实验，结果如表1所示。表中所示mAP值为IoU取0.5到0.95这10组阈值的平均值。

表1 实例分割实验对比Tab.1 Instance segmentation experiment comparison

从实验结果可以看出，通过引进Focal Loss和轻量化网络等方法，本文提出的改进YOLACT模型在边界框mAP和掩码mAP上都优于其他模型的，分割速度也远远快于其他模型的，其代表性分割结果如图7所示。可以看出，其对扣件、缺陷钢轨等具有较高的分割精度。

图7 实例分割结果样例Fig.7 Instance segmentation result example

3.2 扣件缺陷检测实验

在判定扣件缺损前，需预定义两侧扣件轮廓长度差阈值LT。为此，采集了10组100张正常扣件图，通过实例分割，提取扣件掩码进行轮廓查找，计算扣件轮廓长度l1、l2并作差取平均值。可以得出正常扣件相机成像的平均长度差为50像素左右。本文将缺损扣件阈值设定为正常扣件长度差的两倍，也就是将LT设定为100像素，即当差值高于100像素时，则判定扣件缺损。

本文对163张缺损扣件图片和204张正常扣件图片进行检测；同时，为进一步验证本文提出的扣件缺陷检测算法的性能，分别将其与线性SVM（支持向量机）结合方向梯度直方图（histogram oriented gradient，HOG）特征检测方法和单实例分割YOLACT检测方法进行对比实验，结果如表2所示。其中，F1分数为识别准确率和召回率的调和平均数。

表2 扣件缺陷检测实验对比Tab.2 Fastener defect detection comparison

在163张缺陷扣件图片中，本文提出的扣件缺陷检测方法召回率为95.1%，F1得分为95.7。相比“HOG+SVM”方法和单实例分割YOLACT方法，其在缺陷检测成功率上有大幅提升。可以看出，基于分析掩码实例，比较轮廓长度差判定扣件缺陷的算法具有更强的鲁棒性和更高的检测精度，精度达到了95%以上，可满足实际缺陷检测需要。

3.3 钢轨缺陷检测实验

钢轨缺陷检测采用“实例分割+细粒度图像分类”的两阶段级联网络实现。在3.1节实例分割定位实验中，已经将缺陷钢轨分割定位并从原图中提取出来，因此，本节将重点介绍第二阶段的钢轨缺陷细分类实验。在制作钢轨缺陷分类训练集时，为减少人工裁剪钢轨缺陷区域的工作量，使用半自动标注：将采集的轨道数据集送入上述已训练好的实例分割模型，自动分割裁剪钢轨缺陷区域，人工筛选各缺陷类别，并对数据集进行翻转、像素变换、添加噪声等图像增强操作，最终制作的各钢轨缺陷类别数量如表3所示。

表3 钢轨缺陷细分类训练集Tab.3 Rail defect fine-grained training set

将制作好的训练集送入改进的WS-DAN细分类网络进行训练，图8示出WS-DAN算法在改进前后的损失曲线对比图。可以看出，改进前损失值维持在0.28，改进后损失值维持在0.58，损失值存在0.3的差值正是使用标签平滑技术所致。

图8 改进前后损失曲线对比Fig.8 Comparison of loss curves before and after improvement

图9为采用t分部随机邻接嵌入（t-SNE）技术对网络倒数第二层的高维特征向量进行降维并以二维形式可视化模型进行预测的结果图。相比改进前，本文提出的改进模型进一步缩小了相同类别的间距，增大了不同类别间的间距，达到了聚类的目的，使模型对不同缺陷类别具有更高的敏感度和区分度。

图9 可视化模型预测结果Fig.9 Visualization of model prediction results

为更全面地评测本文所提出的“实例分割+细粒度图像分类”的级联钢轨缺陷检测模型性能，本文采集1 239张轨道图片作为测试集，各类别图片数量如表4所示。

表4 钢轨缺陷级联检测测试集Tab.4 Rail defect cascade detection test set

首先将测试集送入第一阶段的实例分割模型并提取检测出的缺陷钢轨区域，然后送入第二阶段的改进WS-DAN模型进行钢轨缺陷细分类。将本文方法与主流方法进行对比实验，结果如表5所示。

表5 钢轨缺陷检测结果对比Tab.5 Comparison of rail defect detection results

从实验结果可以看出，使用MobileNet V2对原图进行缺陷分类，其缺陷检出率较高，达到了95.5%，但缺陷细分类准确率只有55.7%；使用单实例分割YOLACT检测方法，受分割、分类、定位等多任务影响，其缺陷检出率和缺陷细分类准确率都不理想。目前，即使ImageNet中表现优异的ResNeXt101和EfficientNet-b7，用于本实验时也存在较为严重的误检和漏检情况，其钢轨缺陷细分类准确率分别只有57.3%和35.5%。本文方法通过融合实例分割和细粒度图像分类方法，实现了两阶段钢轨缺陷检测，既减轻了繁重的实例分割任务，又充分发挥了图像分类的优势，使实例分割专注钢轨缺陷检出率，图像分类专注钢轨缺陷细分类准确率，最终达到98%的缺陷检出率和95%的缺陷细分类准确率。相比其他方法有大幅提升，本文提出的级联网络的钢轨缺陷检测方法具有更高的检测精度和更强的泛化能力，可满足实际缺陷检测需要。

4 结语

本文提出一种改进的轨道零部件级联缺陷检测算法，其通过分析扣件和钢轨缺陷特征，融合实例分割、传统图像处理和细粒度图像分类，实现零部件定位和缺陷检测；同时，利用从多条高速铁路线路和地铁线路上收集的轨道零部件数据集，对本文所提方法的有效性进行了实验验证。结果表明，该算法可在样本稀缺的情况下，有效检测扣件断裂和丢失等缺陷，准确率为95.7%；在钢轨存在细微缺陷的条件下，钢轨缺陷检出率和缺陷细分类准确率分别为98%和95%，对实际轨道巡检具有较高的理论和实用价值。后续将在进一步提高检测精度的基础上，研究模型压缩和硬件加速技术，实现更高的检测速度，这是未来该领域的重点研究方向。