史凌凯，耿毅德，王宏伟，4，王洪利

（1.太原理工大学 安全与应急管理工程学院，山西 太原 030024；2.太原理工大学 山西省煤矿智能装备工程研究中心，山西 太原 030024；3.山西焦煤集团有限责任公司 博士后工作站，山西 太原 030024；4.太原理工大学 机械与运载工程学院，山西 太原 030024）

0 引言

刮板输送机是煤矿井下运输煤炭的主要设备。在刮板输送机运行过程中，一旦链槽内落入钢板、钢索、锚杆等刚性铁质异物，会加速刮板、链条等部件的磨损和疲劳，甚至会造成刮板停顿、链条断裂等故障，影响煤矿正常生产。此外，刮板输送机在高速运行时具有较大惯性，若落入链条间隙的铁质异物飞出，则会引发人员伤亡等严重事故，是工作面安全隐患之一。

近年来，很多研究者利用机器视觉对铁质异物的智能识别进行研究，并取得了一定成果。任国强等[1]提出了一种Fast_YOLOv3 算法，采用反卷积网络算法解决目标样本不均衡问题，实现了异物识别。杜京义等[2]将DarkNet22-DS 轻量化网络植入Jetson Xavier NX 开发板中，通过金字塔系统实现异物识别。吴守鹏等[3]设计了基于Faster-RCNN 的异物辨识模块，利用双重监督特征金字塔网络（Feature Pyramid Networks，FPN）的特征融合技术实现异物识别。王卫东等[4]构建了一种能够减小背景干扰影响的语义分割网络，实现了铁质异物识别。王燕等[5]提出了基于帧内差分法和Select-Shape 算子的大块铁质异物探测方法，实现了异物识别。上述研究主要存在以下局限性：①检测精度与图像特征紧密相关，适应性较差。井下存在大量水雾和粉尘，光照情况多变，且刮板输送机上的铁质异物形状、大小各异，识别难度大。② 无法区分异物类别与数量，如无法有效区分锚杆、钢板、头盔、角铁和铁锹等。

针对上述问题，本文提出一种基于改进掩码区域卷积神经网络（Mask Region-Convolutional Neural Network，Mask R-CNN）的刮板输送机铁质异物多目标检测方法。对Mask R-CNN 进行改进，并通过自标注的刮板输送机铁质异物图像数据集对改进Mask R-CNN 模型进行训练和测试，以提升铁质异物检测精度。

1 刮板输送机铁质异物多目标检测流程

刮板输送机铁质异物多目标检测具体流程如图1 所示。首先，采集刮板输送机铁质异物图像并制作数据集，对图像进行标注，然后进行格式转换。其次，将改进Mask R-CNN 模型部署于本地计算机，输入数据集，对模型进行训练。然后，当模型的损失值收敛时停止训练并保存训练模型。最后，通过测试数据集对训练模型进行测试。

图1 刮板输送机铁质异物多目标检测流程Fig.1 Multi-object detection process of iron foreign bodies in scraper conveyor

2 Mask R-CNN 模型及其改进

2.1 Mask R-CNN 基本原理

Mask R-CNN 是经典的两阶段网络框架。第1 个阶段扫描异物图像，生成可能含有异物目标的区域；第2 个阶段进行分类，并生成掩码和边界框[6-7]。Mask R-CNN 模型结构如图2 所示。该模型是对Fast RCNN 改进得到的，在原来输出的分类结果（预测框的标签）和回归结果（预测框的坐标位置）基础上，通过全卷积网络（Fully Convolutional Networks，FCN）增加一个输出，即物体掩码Mask。3 个输出结果是平行支路关系。这种简化的网络结构可提高运算速度和异物目标识别率。

图2 Mask R-CNN 模型结构Fig.2 Structure of mask region-convolutional neural network model

2.1.1 特征提取网络

Mask R-CNN 可采用多样化特征提取框架，本文采用ResNet-50 特征提取器获取铁质异物图像特征。这种深度残差网络能够将前面某一数据层的输出直接作为后面数据层的输入[8]，跳过卷积网络。这就意味着前面某层的特征贡献在后面部分的特征层中占据更大比例，使得浅层特征在深层中得到重用，能够较好地解决特征提取过程中训练集准确率随着网络深度增加而下降的问题。

2.1.2 FPN

刮板输送机上的铁质异物是小尺度目标，为加强模型对小尺度目标的识别效果，本文采用FPN 进行特征融合，引入一条从上到下的路径，保证同时拥有高层的语义特征（如类别、属性等）和低层的轮廓特征（如颜色、轮廓、纹理等），以提高铁质异物识别精度[9]。FPN 结构如图3 所示。P1-P4为不同尺寸的特征图，C1-C3为特征融合后的特征图，以C3为例，其中含有低层特征图P2和高层特征图C2的多重图像特征。

图3 FPN 结构Fig.3 Structure of feature pyramid networks

2.1.3 区域特征聚集网络

区域特征聚集网络通过收集图像特征和候选区域特征，依据预测框的位置坐标，将对应的图像区域转换为特定尺寸的特征图[10]，作为后续全连接层的输入，而后进行目标类别判定、边框和掩码覆盖的回归操作。回归操作使得候选边界框更加接近真实边界框，主要包含平移和尺度缩放2 种变换。真实边界框内为图像中的目标区域，候选边界框内为算法预测的可能含有目标的区域。求解回归边界框的公式为

式中：tx，ty为候选边界框平移参数；x，y，w，h分别为候选边界框中心点的横纵坐标及宽度、高度；xa，ya，wa，ha分别为锚点（用来预测候选边界框）中心点的横纵坐标及宽度、高度；tw，th为候选边界框缩放参数；tx*，ty*为真实边界框平移参数；x*，y*，w*，h*分别为真实边界框中心点的横纵坐标及宽度、高度；tw*，th*为真实边界框缩放参数。

2.2 模型改进

虽然Mask R-CNN 能够有效地实现目标检测与分割[11]，但因井下图像背景复杂、异物图像尺寸相差过大等，检测时需要更多图像低层特征。Mask R-CNN 模型中的锚点是由区域选取网络生成的特定长宽比例的矩形框，共计9 个锚点。由于锚点与本文中待检测的5 种铁质异物尺寸不对应，在生成建议区域的过程中会进行过量回归操作，降低Mask R-CNN 模型的检测精度。针对该问题，本文采用k-meansⅡ聚类算法代替原来的锚点生成方案[12]。该算法避免了选定初试聚类中心点的随机性，通过遍历数据集中标注框的长宽信息得到聚类中心点。k-meansⅡ聚类算法的详细步骤如下：

（1）输入含有异物目标的数据集。

（2）在数据集中随机选定k个点作为初始聚类中心点，再重复4 次随机取样过程，得到5k个数据点，进行聚类分析，得到k个聚类中心点。

（3）采用欧几里得度量公式将数据集中的每个点划分为距离该点最近的一类。欧几里得度量公式为

式中：D为距离；n为平面内点的个数；xi，yi为平面内第i个点的坐标。

（4）重置每个类别的聚类中心，重置规则为

式中：ci为聚类后像素点的类别；cj为聚类前像素点的类别。

（5）根据设定的阈值进行判断：如果每个类别与当前已有聚类中心的最短距离大于阈值，则聚类结束，否则转到步骤（3）。

（6）输出k个聚类中心。

3 实验分析

3.1 实验环境及步骤

在太原理工大学院士科创基地搭建刮板输送机铁质异物智能识别实验台，如图4 所示。该实验台由ZY6800/08/18D 液压支架、SGZ630/110 刮板输送机、KBA18 矿用本安摄像仪、KXB12 本质安全型声光报警器、计算机及硬盘录像机组成。

图4 刮板输送机铁质异物智能识别实验台Fig.4 Test bed for intelligent identification of iron foreign bodies in scraper conveyor

模型训练、测试的实验环境配置见表1。设置迭代次数为4 000，学习率为0.000 1，训练批次为10。

表1 实验环境配置Table 1 Experimental environment configuration

实验步骤如下：

（1）采集异物图像样本，去除图像中的无关区域，剔除干扰。

（2）采用图像增强算法对铁质异物图像进行处理，并运用旋转、剪切等操作对数据集进行扩充，实现数据增强。

（3）使用Labelme 对增强后的异物图像进行标注和命名，得到对应的json 文件，包括labelme.png和label_names.txt，其中主要含有铁质异物种类名称、坐标及长宽信息。

（4）配置改进Mask R-CNN 模型的运行环境及参数，开展模型训练及测试。

（5）实现结果可视化，通过平均精度[13]和损失函数[14]评估模型，并与当前主流物体检测模型对比，验证本文模型的有效性和优越性。

3.2 数据采集

3.2.1 图像采集

为模拟井下真实环境，将采集环境光亮度设置为较低，将异物和煤样随机放置于运行中的刮板输送机上，分别使用移动式摄像仪与KBA18 矿用本安摄像仪以不同视角采集图像。共计采集到铁质异物图像2 254 张，分辨率为2 560×1 440，包含锚杆、钢板、头盔（含铁质部分，归结为铁质异物）、角铁和铁锹5 种铁质异物样本，如图5 所示。

图5 铁质异物样本Fig.5 Sample of iron foreign bodies

3.2.2 图像预处理

数据集对深度学习模型的识别性能影响较大。训练数据集增大，会加快网络输出值与实际值之差趋零，从而获得性能较高的网络模型。但出现在刮板输送机上方的铁质异物具有随机性和多样性，且井下实际环境能见度较低，导致异物图像特征信息受限。因此本文采用基于Laplace 算子的图像增强算法进行预处理。利用二次微分方法对图像进行锐化处理，增强图像内像素点的对比度，从而减弱图像噪声，提升图像整体亮度，增强不同物体间的对比度。图像增强前后对比如图6 所示。

图6 图像增强前后效果对比Fig.6 Comparison of image effects before and after enhancement

3.2.3 数据集构建

使用Labelme 软件工具对增强后的铁质异物图像进行逐个标注，得到json 格式文件。为达到可视化目的，将json 格式文件转换为位深度为8 的png 格式彩色标签图，背景类像素点设置为黑色，得到对应的Mask 图像，如图7 所示。

图7 数据集构建Fig.7 Dataset construction

3.3 模型训练

分别采用原始图像及数据增强后的图像制作训练集，采用改进Mask R-CNN 模型训练400 次，结果如图8 所示。可看出经过数据增强后模型损失值减小，验证了数据增强能够明显加快模型收敛速度，有效降低模型损失率，提高铁质异物检测效果。

图8 图像增强前后模型损失值对比Fig.8 Comparison of model loss values before and after image enhancement

在自制的刮板输送机铁质异物图像训练集上训练。Mask R-CNN 模型改进前后的训练结果如图9所示。由图9（a）所示的精确率-召回率（P-R）曲线可看出，改进后模型性能较改进前更好。由图9（b）可看出，训练初期损失值下降速度很快，训练1 500 次后逐渐趋于稳定，最终损失值收敛于0.334 9，改进后模型的损失值一直低于改进前。

图9 模型改进前后训练结果对比Fig.9 Comparison of training results before and after model improvement

3.4 异物识别效果分析

为了直观展示模型对铁质异物的识别效果，对多种铁质异物原图、标签图及模型改进前后识别出的异物图像进行比对，如图10 所示。可看出改进后模型对异物分割更为准确，更为接近异物真实轮廓。

图10 刮板输送机5 种常见铁质异物多目标检测效果Fig.10 Multi-object detection effect of five common iron foreign bodies in scraper conveyor

基于自制的刮板输送机铁质异物数据集，采用改进前后的Mask R-CNN 模型对676 张图像分别进行检测，结果见表2。可看出，与Mask R-CNN，YOLOv5相比，改进Mask R-CNN 模型对单张图像的平均检测时间分别缩短0.093，0.002 s，平均精度分别提高11.4%，2.9%。

表2 不同模型检测效果对比Table 2 Comparison of detection effects of different models

4 结论

（1）采用k-meansⅡ聚类算法代替Mask R-CNN模型的锚点生成方案，并采用改进Mask R-CNN 模型进行刮板输送机铁质异物多目标检测。

（2）采用基于Laplace 算子的图像增强算法进行数据预处理，可明显加快模型收敛速度，有效降低模型损失率，提高铁质异物检测效果。

（3）实验结果表明，改进Mask R-CNN 模型对单张图像的平均检测时间为0.732 s，与Mask R-CNN，YOLOv5 相比，分别缩短0.093，0.002 s；平均精度为91.7%，与Mask R-CNN，YOLOv5 相比，分别提高11.4%，2.9%。