程学珍， 赵振国， 刘兴军， 李继明， 赵 猛

(1.山东科技大学 a.电气与自动化工程学院；b.电子信息工程学院，山东 青岛 266590；2.中国工商银行股份有限公司临沂分行，山东 临沂 276000)

0 引 言

煤矿粉尘的降尘处理是清洁、环保、安全地使用煤炭资源的重要保障，而自动粉尘检测是实现降尘过程的前提。传统的尘雾图像检测算法主要是基于尘雾的形状、色彩、纹理、飘动等特征进行识别。例如Genovese等[1-3]分别将尘雾的不同特征用于检测，但是检测模型存在难以充分提取特征的不足，在尘雾区域较小时，检测效果较差。

近年来，深度学习算法在目标识别与检测领域取得了突破性进展[4]，尘雾图像检测方面，目前应用比较广泛的是基于区域与基于回归两种算法。基于区域的算法又称为两阶段目标检测算法，如CNN[5-8]，Fast RCNN[9]，Faster RCNN[10-12]等。Frizzi等[6-7]分别将卷积神经网络用于尘雾图像检测，取得了比传统方法更好的效果；富雅捷等[8]使用卷积神经网络作为特征提取器，利用支持向量机训练；Zhang等[11-12]利用Faster R-CNN提取尘雾特定的详细特征，提高尘雾检测率。此类方法检测精度高，但检测速度较慢。基于回归的算法又被称为一阶段目标检测算法，如YOLOv4[13-14]、SSD[15]等。李海滨等[14]采用YOLOv4-tiny检测煤尘浓度,提高了检测速度；刘丽娟等[15]利用SSD对尘雾图像进行识别。此类方法运算速度更快，但检测精度略低于两阶段算法。由于煤矿井下粉尘图像背景复杂，现有算法中的卷积神经网络受到粉尘图像空间多样性的影响，不能同时兼顾检测精度与速度。

本文针对粉尘图像背景复杂性提出了将拥有较高检测速度的YOLOv4算法进行优化，以得到与YOLOv4检测速度相当但检测精度更高的模型方法：添加空间变换网络(STN)优化原始特征图，使网络具备空间不变性；采用仿射变换对特征图实施空间变换；选择双线性插值进行像素点精确采样。优化后的检测模型具备学习平移、缩放、旋转等扭曲特性的能力，在检测速度与精度上实现较好的平衡，可以提高算法鲁棒性。

1 本文算法

1.1 YOLOv4网络模型

YOLOv4网络模型由CSPDarknet53、SPP、PANet、YOLO Head四部分组成，其中CSPDarknet53为主干特征提取网络，输出特征图；SPP与PANet构成多尺度特征融合网络，输出有效特征层；YOLOHead为预测网络，利用有效特征层输出预测结果(见图1)。

图1 YOLOv4网络模型

虽然YOLOv4网络使用卷积和池化操作使算法在一定程度上具备了平移不变性，但是这种人为设定的变换规则使神经网络过度依赖先验知识，同时神经网络对于旋转、扭曲等未人为设定变换规则的几何变换缺少空间不变性。而煤尘颗粒具有运动特性，导致煤矿井下图像中的粉尘区域不规则。基于上述原因，YOLOv4网络对煤矿井下粉尘图像检测效果不佳。

1.2 算法概述

为了增强YOLOv4算法的空间不变性，提高煤矿井下粉尘图像检测模型的检测识别能力，本文在YOLOv4算法的多尺度特征融合网络之前插入空间变换网络，优化后的检测模型如图2所示。

图2 优化YOLO-v4算法的粉尘图像检测模型流程图

优化后的算法整体流程为：输入1张尺寸为416×416的粉尘训练图像，先经过主干特征提取网络，使特征层的宽和高不断压缩，通道数不断扩张，得到3个不同尺度的特征图；再送入空间变换网络进行仿射变换；最后在多尺度特征融合网络中进行特征堆叠，得到3个尺度的有效特征层，送入特征预测网络进行网络训练，循环达到预定迭代次数后，得到粉尘检测权重模型。

1.3 空间变换网络

空间变换网络是一种动态网络机制，可以插入到现有卷积网络模型中，将输入变换为下一层网络期望的形式，在训练的过程中自动选择感兴趣的区域特征，对各种形变数据进行空间变换。空间变换网络可以插入到已有的卷积神经网络中，主动进行空间特征映射，并且不需要额外的训练监督或修改。能够更好的简化后续图像的分类识别任务，提升卷积神经网络的鲁棒性和目标特征提取、目标检测识别能力。

如图3所示，空间变换网络由3部分组成：定位网络、网格生成器及采样器。首先输入特征图U，通过定位网络训练得到空间变换参数；然后利用网格生成器根据目标特征图的坐标生成新的网格点，存放仿射变换后的图像；最后采样器将变换后的像素点复制到V中。

图3 空间变换网络结构

定位网络将特征图作为输入：U∈RH×W×C，其中:H为输入特征图的高度;W为输入特征图的宽度;C为输入特征图的通道数。经过全连接层、卷积网络、回归层，输出空间变换参数θ=floc(U),θ决定了输入特征图的必要旋转角度、要完成的平移量以及聚焦于感兴趣的区域所需的比例因子。

仿射变换对点、线、面具有一定的保持性，变换后特征图中的某些比例关系保持不变，所以网格生成器利用空间变换参数进行仿射变换，通过矩阵运算的方式，确定输出特征图V中的每个坐标在输入特征图U中对应的坐标位置。变换关系可表示为

(1)

采样器根据V的坐标点取得对应U中坐标点的像素值进行填充，但这时求得的U中的坐标点可能为非整数，因此在原始特征图U中利用双线性插值进行采样。由于双线性插值是可导的，可以将输出图像的非整数坐标点映射到整数位置，从而得到仿射变换结果V：

(2)

1.4 基于改进YOLOv4算法的粉尘检测实现

粉尘图像识别方法以YOLOv4算法网络结构为基础，分别在CSPDarket53网络输出的3个不同尺度的特征图后插入空间变换网络，进行仿射变换，并将优化后的网络结构进行训练和测试，优化后的粉尘检测模型如图4所示。具体流程：① 将数据集中的粉尘图像进行预处理，把分辨率统一调整到416×416，作为输入图像进行模型的训练；② 在CSPDarknet-53网络中进行特征提取，通过不断地压缩特征层和扩张通道数，最终得到3个不同尺度的特征图，再由空间变换网络进行仿射变换；③ 首先将经过卷积与上采样的尺度1特征图与经过卷积的尺度2特征图堆叠；然后进行卷积和上采样，并与第3尺度特征图堆叠；最后通过5层卷积得到尺度3有效特征层，输入给YOLO Head；④ 首先对尺度3有效特征层下采样，然后与第67层特征层进行堆叠，最后通过5层卷积得到尺度2有效特征层；⑤ 首先对尺度2有效特征层下采样，然后与经过卷积的尺度1特征图堆叠，最后通过5层卷积得到尺度1有效特征层；⑥ 将上述3个尺度的有效特征层送入YOLO Head；⑦ 循环整个网络，直到达到预定迭代次数，最终得到粉尘检测权重模型。

图4 优化后的粉尘检测模型

2 实验结果与分析

2.1 实验数据

实验数据集来自井下采煤现场实地采集的视频，首先对原始粉尘图像和无尘图像进行图像增强、去噪、平移、翻转等预处理，预处理后的实验数据集样本如图5所示。然后参照VOC2007的标准数据集格式对粉尘图像进行标注，生成包含物体类别与目标框坐标信息的.xml文件。最终得到7 440张实验数据集图像，无尘图像与标注粉尘图像各3 720张，其中80%用作训练集，余下的20%作为测试集。

图5 预处理后的实验数据集图像

2.2 实验环境

实验配置如下：CPU为 Intel Core i7-8700k；显卡为英伟达GTX 1070Ti；内存为16 GB；深度学习框架为Darknet。模型整体采用Pytorch框架搭建。设置训练模型的初始学习率为0.001，最大迭代次数为40 000次，每批次训练16个样本。

2.3 模型训练

模型训练使用YOLOv4的预训练权重，对优化后的网络进行权重参数调整。迭代训练分两阶段进行，第1阶段为粗调阶段，调整除主干特征网络CSPDarkNet53外的网络参数，选择更适合用来训练较小的自定义数据集的Adam优化函数；第2阶段为微调阶段，调整主干特征网络的权重参数，依然选择Adam优化函数。经过迭代训练，最终得到粉尘图像检测效果相对最好的权重参数。

2.4 实验结果

优化后的粉尘图像检测模型在粉尘图像测试集上进行评估，同时为了验证算法的有效性，将提出的粉尘检测算法与Faster-RCNN算法、YOLOv4算法进行实验对比。实验选取了采煤工作处一段视频共665帧图像进行测试，各类算法的实验结果如表1所示。

表1 不同检测算法的对比评价

由表1可以看出，优化YOLOv4算法的召回率与准确率要优于其他两种算法，分别达到了88.63%和93.21%，而检测速度比YOLOv4算法降低了7帧/s，能够满足实时在线检测的需求。Faster-RCNN算法在准确率、召回率和处理速度上与提出算法都存在差距。

图6所示为YOLOv4算法优化前后部分检测结果的对比。

从图6可以看出，优化后的算法无论在目标分类还是目标定位方面都取得了更好的效果，对粉尘图像识别具有更高的准确率。引入空间变换网络后，优化的YOLOv4网络强化了算法的特征提取能力和空间变换能力，实现了粉尘图像识别端到端的优化。

3 结 语

本文提出了一种基于图像的优化YOLOv4煤矿井下粉尘检测算法，利用空间变换网络对特征图进行仿射变换，强化了算法的特征提取能力和空间变换能力，优化后的YOLOv4网络提高了粉尘检测精度、降低了漏检率。该算法能够大体识别出图像粉尘的位置，这对于实现煤矿采煤处自动喷水除尘或其他方法除尘具有重要作用，不仅可以节省人工降尘的成本，而且对煤矿安全高效生产有重要意义。但是本文算法仍然存在一些问题，在实验过程中发现，算法对于图像粉尘不明显、低浓度的情况，容易出现漏检和误检。对于煤矿井下复杂的环境，没有验证该算法是否具有普适性，后续这将是主要研究方向，以达到适应煤矿环境变化所带来的影响。