代先星，丁世海，阳恩慧，WANG Kelvin Chenping，邱延峻，王平



铁路扣件弹条伤损自动检测系统研发与验证

代先星1, 2，丁世海1，阳恩慧1，WANG Kelvin Chenping1，邱延峻1，王平1

(1. 西南交通大学 道路工程四川省重点实验室，四川 成都 610031； 2. 成都高投建设开发有限公司，四川 成都 610031)

针对铁路扣件缺陷自动识别准确率不高等问题，介绍基于三维激光成像技术的高速铁路扣件自动检测系统，重点阐述基于轨道三维图像的弹条型扣件的检测算法。在扣件检测算法中，以先验知识验证扣件位置的方法保证扣件定位的准确率；实现弹条图像的提取；基于正常弹条图像创建真实模拟折断扣件的虚拟负样本。提取图像特征后，利用经过训练的分类器识别扣件缺失、单侧断裂和双侧断裂的状态。最后，结合室内实尺Ⅲ型板轨道模型的数据验证系统的检测效果。研究结果表明，采用提出的扣件缺陷自动检测算法的识别准确率高达97.3%，该系统具有较高的实用潜力。

三维激光成像；扣件定位；虚拟样本；识别算法；准确率

轨道结构是引导并支撑高速列车平稳安全运行的重要基础结构，其应始终保持高平顺性、高稳定性与高可靠性。统计数据显示，轨道结构的不良状态很可能导致列车脱轨等安全事故[1]。传统的轨道检测方式是天窗时间人工巡检，但该方式检测成本高、效率低。随着计算机视觉和数字图像处理技术的发展，20世纪90年代美国等发达国家就开始了非接触式快速检测技术的研究[1−4]。我国自2006年起陆续引进该检测技术并开始自主研发，如今已取得丰硕成果[5]。然而，采用漫反射光源(如LED灯)的检测系统无法克服光照不均匀等因素的影响，造成系统的检测效果不稳定。为解决该问题，部分学者利用线结构激光提供光源，并用相机捕捉激光在轨道上的运动图像[6]，然而该数据仍局限于二维数据。随着三维激光成像技术的发展，自2013年以来国外陆续呈现基于三维数据的扣件检测研究成果[7−9]，尽管其检测对象是螺栓扣件，但这对弹条型扣件的检测研究仍具有一定借鉴意义。为促进扣件检测系统准确率和稳定性的提升，基于三维激光成像技术的前期研究基础[10−11]，作者研发了高速铁路扣件自动检测系统，提出基于三维数据检测弹条型扣件缺失、单侧断裂和两侧断裂等状态的检测算法；为解决扣件正负样本数量不平衡的困境，提出创建真实模拟扣件折断数据的方法，最后结合室内实尺Ⅲ型板试验段的数据对高速铁路扣件检测系统的准确率进行验证。

1 检测系统的基本技术原理

扣件检测系统利用主动视觉的直射式激光三角测量法采集铁路轨道的三维数据，检测原理如图1(a)所示。为方便理解，先以点激光为例介绍基本原理。点激光发射器发出的光束经过准直、聚焦光学系统处理后照射到物体表面，其漫反射光经过相机透镜后在光敏面上成像。如图1(b)所示，物体在激光入射方向上有位移变化Δ时，漫反射光点的相对位置也将发生改变，此时光敏面上的位移为δ。光点位移与像点位移间的关系为[12]

式中：0是入射激光束轴线与成像透镜光轴的交点到成像透镜前主面的距离；1是成像透镜后主面到接收器成像中心点的距离；为入射激光束轴线与成像透镜光轴的夹角；为成像平面与成像透镜光轴的夹角。

(a) 线激光示意图；(b) 点激光示意图

图1 激光测量原理

Fig. 1 Measure rationale based on laser

当线激光作为光源时，结构光平面与轨道表面相交形成一条激光线，相机以一定夹角捕捉轨道表面的反射激光，此时可获得激光线上各光点在相机成像平面的位置，如图1(a)所示，从而可计算各光点与其基准位置的高度变化，最终输出激光线处的轨道表面的相对高度信息。通过距离测量仪发送采集信号，相机每次只收集线激光所在横断面的三维数据，并随着相机的运动扫描轨道表面，从而获得整个轨道的三维数据[11]。

2 扣件检测系统

在前期研究中自主研发设计了用于搭载扣件检测系统的轨道检测车[13]，如图2所示，其包括设备搭载平台、设备位置变换系统和小车动力系统。设备搭载平台可调整激光−相机组件的竖直位置和水平位置，使检测系统能够采集轨道横断面任意位置的数据。

扣件检测系统包括数据采集、数据存储和数据分析3个子系统，如图3所示。尽管数据采集子系统集成了一系列高精度传感器，如GPS、距离测量仪(DMI)、惯性测量单元(IMU)、三维加速度传感器和激光−相机组件以及路权相机(ROW)，其仍能通过控制箱(WCC)控制各传感器进行同步的数据搜集。与控制箱相连的高性能电脑发出采集指令后，WCC协同各传感器高频率地采集数据，并将各数据流实时传输至电脑。数据存储系统将相机，IMU，DMI和GPS等传感器的数据经过压缩后保存为三维云点数据。解压三维云点数据后可将轨道数据进行三维重构，重构后的轨道图像如图4(a)所示。

图2 轨道检测车

图3 检测系统组成

(a) 重构后的三维数据；(b) 激光－相机组件

为保证检测系统完整地采集钢轨两侧的扣件，调整激光−相机组件的水平位置并使其位于钢轨正上方，激光−相机采集箱如图4(b)所示。通过检测车的移动，采集系统可获得尺寸为2 048*(/)的轨道图像，其中为轨道长度，是纵向(轨道检测车前进方向)精度，取值为1 mm。当需要提高纵向精度时，检测系统可通过DMI进行调整。

为方便后续的算法研究，检测系统可将轨道数据以BMP格式导出，并可通过调整输出参数保证每张图像中均包含完整的扣件区域。数据输出界面和输出的三维图像如图5所示。

图5 数据输出界面和数据源图

3 扣件自动识别算法

3.1 扣件子图像分割

采集子系统输出的轨道图像包含大量轨道板等背景信息，如图5所示。为提高检测效率，首先准确地提取扣件子图像，这也是实现扣件自动检测的关键一步。

分析采集系统输出的图像可知，轨道三维图像具有以下特征：1) 钢轨区域沿垂直方向分布，轨头部分的高度值最大，且高度值变化较小；2) 承轨台区域沿水平方向分布，该区域的高度值有较大变化；3) 扣件区域与轨头边缘、承轨台边缘的相对位置固定。

钢轨和承轨台的位置可根据三维图像的深度梯度确定，钢轨轨头左侧边缘和承轨台上侧水平边缘需分别满足式(2)，即

式中：，分别为像素的纵坐标和横坐标；1为钢轨轨头边缘与钢轨轨底高度差；2为承轨台边缘与轨道板的高度差。同理可定位钢轨轨头右侧边缘和承轨台下侧横向边缘。

高速铁路轨道板是以毫米级精度在工厂预制，因而扣件的位置非常固定且扣件间距为定值。定位出钢轨和承轨台位置后，借鉴文献[14]十字交叉法即可定位出扣件区域的位置。为保证提取的扣件位置完全准确，利用固定的扣件间距验证扣件位置是否正确。该方法在扣件缺失时仍然能验证扣件位置。扣件间距计算公式为

3.2 弹条图像提取

铁路扣件状态主要指弹条状态，因此，针对扣件区域提取特征的检测算法无法避免背景信息对特征稳定性的影响，该类算法只能通过融合弹条的结构特征进行改善[15]。因不均匀光照等因素的影响，基于二维图像不可能提取出形状复杂的弹条，但结合弹条轮廓和高度信息，三维图像检测算法能有效地将弹条与背景分离。

弹条表面高于钢轨底部和承轨台，且低于T型螺栓表面。据此利用阈值分割法可将扣件深度图像中的弹条部分提取出来，即

在初步提取出弹条后，利用形态学方法进行去噪处理。最终得到的弹条图像如图6所示。

3.3 创建扣件断裂的虚拟样本

铁路现场扣件断裂的数量远小于扣件正常的数量。为解决正负样本数量不平衡的困境，本节提出一种创建真实模拟扣件断裂数据的方法。如图7(a)的弹条力学分析结果[16]所示，应力集中等原因使弹条后肢的应力比其他各处的应力大，这导致扣件通常在此处发生断裂。团队在现场病害调研时也发现弹条通常在弹条后肢处折断的现象，如图7(b)所示。

图6 弹条三维图像

图7 弹条应力分布和现场折断扣件

借鉴文献[17]中旋转源图像等方式增加样本数量的方法，基于上节提取的正常弹条图像，在弹条后肢处截断弹条，达到真实模拟弹条折断数据的目的。旋转式方法与此方法相比，前者仅改变了图像的视觉效果，而后通过去除部分弹条能真实模拟扣件断裂。创建扣件断裂虚拟负样本的具体处理过程为：1) 基于正常弹条图像，定位弹条后肢在上侧和下侧的垂向坐标1和2；2) 分别将上侧、下侧弹条前肢至后肢的部分去除，之后即可获得弹条上侧断裂、下侧断裂以及两侧同时断裂的图像，其效果如图8所示。

(a) 源始图像；(b) 上侧弹条断裂； (c) 下侧弹条断裂；(d) 两侧弹条断裂

3.4 PCA-HGOH特征提取

方向梯度直方图HOG特征[18]统计图像局部区域梯度方向直方图，能较好地描述目标对象的形状，故借鉴HOG特征的计算方法提取三维图像中弹条深度梯度特征HGOH。然而，基于尺寸为144×352的弹条图像获得的HGOH特征维数较大，将增加算法处理时间。为此，利用主成分分析方法(PCA)将HGOH特征进行降维处理，最终获得PCA-HGOH特征，具体步骤如下。

步骤1：提取HGOH特征。

1) 计算梯度与梯度方向。水平和垂直梯度分别为

梯度幅值和梯度方向分别为

2) 计算单元的方向梯度直方图。将图像分为大小*(=8)的非重叠单元，且将梯度方向(,)在(0,180]取值范围量化为9个区间，每个区间长度为20。为避免量化效应[19]，当像素的梯度方向不属于第九区间时，每个像素(,)对其梯度方向的相邻区间有一定贡献，其贡献大小按照该像素的梯度方向与相邻梯度方向区间中心点的距离线性递减确定，该像素对区间和+1区间的贡献大小V，V+1分 别为

式中：为像素(,)的梯度方向；为像素(,)的梯度幅值；c表示第个区间的中心值。通过该方法可将单元内所有像素的梯度幅值在各个方向区间进行直方图统计，获得一个单元的9维特征 向量。

3) 图像的HGOH特征。将相邻4个单元组成一个块，把4个单元的特征向量串联起来获得块的36维特征向量，并进行归一化处理，归一化公式为

式中：为很小的实数，取=0.01。最后以一个单元为步长，用块对样本图像进行扫描，最终将所有块的特征串联得到弹条深度梯度特征HGOH。

步骤2：PCA降维处理。

PCA(Principal Component Analysis)[20]是多变量统计分析的一种方法，其最终获得的主成分是正交不相关的。PCA方法的优点是减少特征向量维数的同时仍能保证特征的稀疏性，这有利于减少计算的复杂性，从而缩短分类器的训练和识别时间。

之后利用该式就可对任何HGOH特征进行PCA降维处理，从而得到PCA-HGOH特征。

3.5 一对多SVM分类器

支持向量机(SVM)主要思想是建立一个超平面作为决策曲面，使正例和反例之间的隔离边缘最大化，因其采用结构风险最小化原则代替传统统计学中的基于大样本的经验风险最小化，对于小样本数据分析具有出色的学习能力和推广能力。针对(＞2)分类问题，直接法目标函数过于复杂，计算复杂度高[21]。间接法相对简单，其通过组合多个二分类器来实现多分类的构造。一对一法是在任意2类样本之间设计一个SVM，其总共需要构造*(−1)/2个SVM，而一对多法是将某个类别的样本归为一类，剩余样本归为另一类，其总共仅需构造个SVM，计算成本比一对一法低，故本文采用一对多SVM分类器进行扣件状态的分类识别。

对于类分类问题，一对多方法把类别作为一类，其余−1类视为一类，自然地将分类问题转化为二分类问题。其分类函数[22]为

对于测试样本，若有

则该输入样本属于第m类。

支持向量位于决策边缘，由各类别对应的支持向量最终形成了多分类系统的决策边界。一对多SVM分类器的扣件识别决策边界如图9(a)所示，其中1表示扣件正常，2表示扣件上侧断裂，3表示扣件下侧断裂，4表示扣件两侧断裂。扣件状态的识别流程如图9(b)所示。首先利用训练集训练4个SVM，当测试图像作为输入时，每个SVM对图像进行分类识别，之后利用式(12)判断测试图像的类别。如此设计识别方法的优势是各类别间的决策边缘非常明确，每个分类器均能准确地分类测试 样本。

(a) 高维空间中扣件数据集的决策边界；(b) 测试图像识别流程图

4 室内试验验证

为验证扣件检测系统的效果，用扣件检测系统采集的试验段数据进行测试。受试验条件限制，检测系统只能以5~10 km/h的检测速度在室内实尺Ⅲ型板轨道结构试验线上采集数据。扣件断裂和缺失的负样本通过人工制造的方式获得。高速铁路的轨道板、扣件等的精度都是毫米级，若不考虑部件公差、随机噪声等因素扣件区域的深度图像应完全一致。为此，以重复采集轨道板两侧数据的方式增加样本数量。为增加样本的随机性，一次采集完成后人工将扣件拆卸并再安装，之后进行下一次的数据采集。

目前常用于衡量特征向量类间距离的指标是卡方距离[23]，其计算公式为：

式中：和为维向量。为验证重复采集数据的有效性，随机选取图像计算卡方距离。在试验样本库中随机选取62张正常弹条图像，其中31张是第1次采集的图像，另外31张图像是位置相对应的重复采集数据，之后分别提取其HGOH特征。

计算不同位置图像的特征距离时，随机选取一张为基准，分别计算其与剩下30张图像的特征距离；之后计算30张位置相对应的重复采集图像间的特征距离。每次数据采集前人工拆卸再安装扣件，弹条的姿态有微小的变化，并且数据采集过程中不可避免有一定的随机噪声，使得重复数据间存在特征距离，具体计算结果如图10所示，重复采集图像特征距离与不同位置图像的特征距离相近，它们的平均值分别为21.50和21.80，这说明重复采集的数据是有效的。

图10 图像特征距离计算结果

从采集的图像中选取500张扣件子图像组成图像库，其中正常扣件300张，扣件缺失150张，扣件断裂(上侧扣件断裂)50张。基于正常扣件的弹条图像，利用创建虚拟负样本的方法获得250张上侧扣件断裂图像、300张下侧扣件断裂图像、300张两侧扣件断裂图像，即将图像库可扩展为正常扣件、扣件位置异常、上侧扣件断裂、下侧扣件断裂、两侧扣件断裂各300张。本文将150张扣件缺失的图像全部归入测试集，并将图像库中剩余图像中的一半作为训练集，余下一半作为测试集。

扣件子图像通过弹条提取算法的结果若为空白图像，则判定该图像属于扣件缺失；若结果不是空白图像，则进行下一步的PCA-HGOH特征提取，最后利用4个一对多线性支持向量机进行分类。分类算法性能通常以准确率作为衡量指标，计算公式为

式中：T1，T2，T3，T4和T5分别为正确识别的正常扣件、上侧断裂扣件、下侧断裂扣件、两侧断裂扣件和缺失扣件的数量；为用于测试的5类扣件的总数。数据测试结果如表1所示，缺失的扣件能全部正确识别，针对5种扣件状态的检测，算法检测准确率高达97.3%，能较好地满足现有扣件检测的要求。

表1 测试集试验结果

5 结论

1) 运用三维激光成像技术，研发高速铁路扣件自动检测系统，提出基于三维数据的扣件检测算法，经试验段的数据测试表明，提出的方法检测准确率较高，具有较高的实用潜力。

2) 利用先验知识验证提取的扣件位置是否正确，保证扣件定位的准确率；提出创建真实模拟扣件断裂图像的方法，有效解决正、负样本数量不平衡的困境；另外，本文考虑单侧断裂扣件、双侧断裂扣件的状态检测，可更全面地检查铁路现场扣件的多种状态。

[1] Gibert X, Patel V M, Chellappa R. Deep multi-task learning for railway track inspection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015(2): 30−40.

[2] 柴雪松, 杨凤春, 罗林. 轨道视频检查系统[J]. 中国铁路, 2001(6): 59−60. CHAI Xuesong, YANG Fengchun, LUO Lin. Visual frequency inspection system of track[J]. Chinese Railways, 2001(6): 59−60.

[3] 李彧雯. 轨道部件图像检测系统设计[D]. 南昌: 南昌大学机电工程学院, 2012: 40−50. LI Yuwen. The design of railway components image detection system[D]. Nanchang: College of Mechanical and Electrical Engineering, Nanchang University, 2012: 40−50.

[4] Singh M, Singh S, Jaiswail, et al. Autonomous rail track inspection using vision based system[C]// Proceedings of the 2006 International Conference on Computational Intelligence for Homeland Security and Personal Safety. Alexandria: IEEE Conference Publications Loughborough, UK, 2006: 56−59.

[5] 许贵阳, 史天运, 任盛伟, 等. 基于计算机视觉的车载轨道巡检系统研制[J]. 中国铁道科学, 2013, 34(1): 139−144. XU Guiyang, SHI Tianyun, REN Shengwei, et al. Development of the on-board track inspection system based on computer vision[J]. China Railway Science, 2013, 34(1): 139−144.

[6] ZHANG Haibo, YANG Jinfeng, TAO Wei, et al. Vision method of inspecting missing fastening components in high-speed railway[J]. Optical Society of America, 2011, 50(20): 3658−3665.

[7] Metari S, XIE Yuanchang, Talbot M, et al. Automatic track inspection using 3D laser profilers to improve rail transit asset condition assessment and state of good repair-a preliminary study[C]// Transportation Research Board 93rd Annual Meeting, Washington D. C., USA, 2014: 14−23.

[8] Aytekin Ç, Rezaeitabar Y, Dogru S, et al, Railway fastener inspection by real-time machine vision[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2015, 45(7): 1101−1107.

[9] Lorente A G, Llorca D F, Velasco M G, et al. Range-based rail gauge and rail fasteners detection using high-resolution 2D/3D images[C]// TRB 2014 Annual Meeting Washington D.C., USA, 2014: 125−132.

[10] WANG Kelvin Chenping. Elements of automated survey of pavements and A 3D methodology[J]. Journal of Modern Transportation, 2011(19): 51−57.

[11] LI Baoxian, DAI Xianxing, WANG Kelvin Chenping, et al. Automated survey of railway conditions: A preliminary investigation[C]// International Conference on Transportation and Development, Houston USA, 2016: 446−454.

[12] 闫加俊. 小型激光三角探头光学系统设计[D]. 长春: 长春理工大学机电工程学院, 2012: 23−33. YAN Jiajun. The optical system design of a miniaturization laser triangulation probe[D]. Changchun: College of Mechanical and Electrical Engineering, Changchun University of Science and Technology, 2012: 23−33.

[13] 彭毅, 王郴平, 阳恩慧, 等. 一种轨道表面检测仪器搭载系统[P]. 中国: 201521093316.6[P]. 2016−05−11. PENG Yi, WANG Chenping, YANG Enhui, et al. The carrying system for track surface inspection instrument[P]. China: 201521093316.6. 2016−05−11.

[14] 陈小艳. 融合结构信息的LDA扣件状态识别研究[D]. 成都: 西南交通大学机械工程学院, 2015: 65−71. CHEN Xiaoyan. Research on the fastener status recognition based on LDA combined with structure information[D]. Chengdu: College of Mechanical Engineering, Southwest Jiaotong University, 2015: 65− 71.

[15] 刘甲甲, 熊鹰, 李柏林, 等. 基于计算机视觉的轨道扣件缺陷自动检测算法研究[J]. 铁道学报, 2016, 38(16): 73−80. LIU Jiajia, XIONG Ying, LI Bailin, et al. Research on automatic inspection algorithm for railway fastener defects based on computer vision[J]. Journal of the China Railway Society, 2016, 38(16): 73−80.

[16] 李中, 郭瑞琴, 武帅. 弹条偏转和扣件松动对弹条扣压力的影响[J]. 铁道标准设计, 2016, 60(2): 47−52. LI Zhong, GUO Ruiqin, WU Shuai. Effects of elastic strip deflection and fastening looseness on toe load of elastic strip[J]. Railway Standard Design, 2016, 60(2): 47−52.

[17] FU Huazhu, XU Yanwu, LIN Stephen, et al. Deep vessel: retinal vessel segmentation via deep learning and conditional random field[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention, Athens, Greece, 2016: 132−139.

[18] Dalal Navneet, Triggs Bill. Histograms of oriented gradients for human detection[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Madison, USA, 2005: 886−893.

[19] LUO Weiqi, WANG Yuangen, HUANG Jiwu. Detection of quantization artifacts and its applications to transform encoder identification[J]. IEEE Transactions on Information Forensics and Security, 2010, 5(4): 810−815.

[20] Jolliffe I T. Principal component analysis[M]. Springer Science & Business Media, 2006: 40−60.

[21] Weston J, Watkins C. Multi-class support vector machines[R]. Lodon: University of London, 1998: 20−40.

[22] Manikandan J, Venkataramani B. Design of a modified one against all SVM classifier[C]// Proceedings of the IEEE International Conference Systems, Manand Cybernetics, Banff, Canada, 2009: 1869−1874.

[23] Chan Chiho, Tahir Muhammadatif, Kittler Josef, et al. Multi-scale local phase quantization for robust component-based face recognition using kernel fusion of multiple descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(5): 1164− 1177.

(编辑 阳丽霞)

Development and verification of automatic inspection system for high-speed railway fastener

DAI Xianxing1, 2, DING Shihai1, YANG Enhui1, WANG Kelvin Chenping1, QIU Yanjun1, WANG Ping1

(1. Key Laboratory of Highway Engineering of Sichuan Province, Southwest Jiaotong University, Chengdu 610031, China; 2. Chengdu Hi-tech Investment Development Co. Ltd, Chengdu 610031, China)

Aiming at the low recognition accuracy of detection algorithms for railway fastener defects, a novel high-speed railway fastener automatic inspection system was developed using three-dimension (3D) laser imaging and detection algorithm based on track 3D image for hook-shaped fastener. The detection algorithm has some distinctive characteristics. Firstly, the method of verifying fastener location with prior-knowledge was applied to improve the correct rate of locating fasteners. To the best of our knowledge, this is the first time to extract clip images. Secondly, the algorithm of creating visually defective fastener images was proposed to simulate broken fastener based on intact clip images. After extracting the feature of images, the fastener defective statuses, such as missing, one-side broken and two-side broken were identified by the special classifier after training. The experimental results of this detection algorithm verifying with the data of indoor real-scale model indicate that the detection accuracy of this algorithm is as high as 97.3%, and this inspection system has a high potential for field implementation.

3D laser imaging; fastener location; visual sample; inspection algorithm; recognition rate

10.19713/j.cnki.43−1423/u.2018.10.004

U216.3

A

1672 − 7029(2018)10 − 2478 − 09

2017−08−31

国家自然科学基金资助项目(51478398，U1534203，51308477)

阳恩慧(1982−)，男，湖南岳阳人，讲师，博士，从事道路工程方面的科研与教学工作；E−mail：yeh1982@163.com