阚玉达

(中铁十九局集团矿业投资有限公司,北京 100161)

近年来,采矿业与多学科技术逐步实现了深度交叉融合,为稳步推进矿山智能化建设,实现露天矿爆破效果实时智能评价,需自动快速准确地统计爆破大块率[1-3]。传统大块率统计方法多依赖于现场目视解译,统计效率和精确性较差。基于此,大量学者进行了研究,提出了基于图像分割算法的爆破大块率统计方法[4],已在多个矿山得到了广泛应用。

图像分割算法自动化程度高、智能性强,被广泛应用于医学图像处理[5-6]、卫星遥感影像分割[7-8]、矿石图像分割[9-11]等领域。传统的图像分割方法,如自适应阈值算法[12]、K-均值聚类算法[13-14]等,针对爆堆矿石图像,难以得到较好的分割效果。随着深度学习的概念被提出并不断应用,在图像分割领域取得更大的进展,涌现出了如FCN[15]、SegNet[15]、Mask RCNN[16]等算法。在矿石图像分割领域,深度学习算法取得较好的应用效果。李鸿翔等[17]针对矿石目标相互堆叠、表面不规则的问题,研究了GAN-UNet 网络架构,并将其用于分割矿石图像,分割精度相较于传统方法得到显著提升; LI 等[18]针对矿石图像形状复杂、相互粘连的特点,提出了一种基于深度学习的矿石图像分割算法,利用整体嵌套边缘检测(Holistically-Nested Edge Detection,HED)算法提取矿石图像中矿石目标边缘,进一步细化目标边缘,该方法鲁棒性强,但是具有一定的噪声敏感性,且针对中小矿石目标,难以取得较好的分割结果。为此,顾清华等[19]提出了一种基于改进HED 算法的破碎矿石图像分割方法,有效解决了HED 算法针对中小型矿石目标提取精度较差的问题,分割效果较好。

上述传统方法虽然具有一定的效果,但智能性较差,尤其针对现场爆堆矿石图像中存在的矿石目标分布密集、边缘对比度低等问题,其分割精度难以满足露天矿爆破大块率精准统计要求。上述深度学习方法具有智能性强、分割精度高等优点,但主要针对背景统一的矿石图像,对于露天矿复杂环境下的爆堆矿石图像适用性不强。因此,本研究提出一种基于UNet 和改进分水岭算法的露天矿爆堆矿石图像分割方法解决上述问题。该方法首先标注爆堆矿石图像,制作数据集;然后基于U-Net 网络模型训练并预测爆堆矿石分割结果,进一步采用基于距离运算的分水岭算法优化分割结果;最后利用图像交并比定量评价爆堆矿石图像分割精度。

1 数据获取及预处理

1.1 试验数据

本研究利用无人机(大疆精灵4 RTK)采集辽宁省鞍山市鞍千矿业哑巴岭露天采场(东经123°08'13″,北纬41°36'11″)的爆堆照片制作数据集,数据格式为jpg 格式,分辨率为6 000×4 000 像素,获取的爆堆矿石图像如图1 所示。

图1 无人机拍摄的爆堆矿石图像Fig.1 Exploded ore images captured by UAV

1.2 数据预处理

首先利用labelme 图像标注工具手动提取爆堆矿石图像中的矿石目标,获取的爆堆矿石图像分割结果如图2 所示。

图2 爆堆矿石图像分割结果Fig.2 Segmentation result of exploding ore image

由于原始爆堆矿石图像尺寸较大,因此将原始爆堆矿石图像与其对应的分割结果进行裁剪,裁剪尺寸为512×512 像素。考虑到爆堆矿石图像数量较少,因此利用图像旋转、图像翻转、图像去噪、图像加噪、亮度变化等算法增强爆堆矿石图像数据集,在增强样本多样性的同时,避免了出现模型过拟合现象。同时为了减少模型训练和预测时间,将爆堆矿石图像进行灰度化处理,最终得到的数据集中包含6 000 幅爆堆矿石图像,部分结果如图3 所示。

图3 爆堆矿石图像数据集(部分)Fig.3 Dataset of blast pile ore images (part)

2 研究方法

爆堆矿石图像边缘模糊,内部语义信息相似,结合高级语义信息和低级语义信息后可有效描述图片信息,而U-Net 网络架构可有效结合图像高级语义信息和低级语义信息,因此本研究采用U-Net 网络结构训练模型,并预测爆堆矿石图像分割结果。由于爆堆矿石图像中矿石目标分布密集、相互堆叠,经U-Net模型预测后的分割结果仍存在部分欠分割现象,而采用基于距离运算的分水岭算法优化U-Net 模型的分割结果,可有效处理欠分割现象。根据上述分析,本研究提出了一种U-Net 和基于距离运算的分水岭算法相结合的爆堆矿石图像分割方法,以提升爆堆矿石分割精度。该方法首先对无人机图像进行预处理,裁剪、标注数据集,数据集增强;然后基于爆堆矿石图像数据集训练U-Net 网络,得到爆堆矿石图像分割模型,再用该模型对爆堆矿石图像进行预测,得到UNet 模型预测的分割结果;最后利用基于距离运算的分水岭算法优化U-Net 模型预测的分割结果。

2.1 U-Net 网络模型构建与训练

在语义分割过程中,为了获得性能更强的分割模型,需在充分保留高级语义信息的同时,最大程度地利用低级语义信息训练模型。U-Net 网络基于全卷积神经网络(Fully Convultional Neural Network,FCN)进行改进,在下采样过程中不断提取爆堆矿石图像特征信息,并在上采样的同时将对应的特征进行融合,可充分融合图像的高级语义信息和低级语义信息进行模型训练,U-Net 网络结构如图4 所示。有别于原始U-Net 网络,本研究U-Net 网络架构采用ELU 激活函数。

图4 U-Net 网络结构Fig.4 U-Net network structure

ELU 激活函数有效结合ReLu 激活函数和sigmoid 激活函数,当输入为正值时,可有效避免梯度下降现象,当输入为负值时,相较于直接设置为0,可有效保持激活函数对负值的敏感响应。输入图像为分辨率512×512 像素的单通道灰度图。

由于卷积核为3×3,故而将输入图像经过卷积运算后分辨率在长宽上表现为减小2,同时增加图像深度,然后进行下采样,将图像尺寸缩减为之前的1/2,经4 次下采样之后,再利用双线性插值算法进行上采样,同时融合与之对应的图像。最后针对每一个像素利用softmax 函数进行特征运算,将运算结果和真实标签利用损失函数进行损失运算得到损失值,进一步纠正分割差异,预测结果精度越高,则损失值越小。由于爆堆矿石图像分割属于图像二分类任务,因此在U-Net网络架构中,本研究采用二分类交叉熵损失函数。二分类交叉熵损失函数可表示为

式中,y为真实数据;yhat为预测结果;L为函数值。

建立U-Net 网络模型后,将数据集划分为训练集和验证集,其中训练集4 800 幅,验证集为1 200 幅,作为网络模型输入,由于服务器显卡限制,设置批处理尺寸(batchsize)为2,即每次训练2 幅图像,epoch设置为60,在训练过程中,Loss值多次不再下降时,自动停止模型训练,同时采用Adam 优化器训练网络模型。

2.2 基于距离运算的分水岭算法

基于距离运算的方法常被用来改进分水岭算法。对于二值图像,若两个黑色斑点连在一起,则在地形表面只会形成一个最小值和汇水盆地。为了利用分水岭对连通斑点进行分割,对二值图像进行欧式距离运算,将每个像素的位置信息转换为灰度信息,然后利用分水岭算法寻找边界点来分离粘连的矿石目标。

2.3 爆堆矿石图像分割结果评价指标

为了定量评价模型性能和预测结果精度,计算预测图像和真实图像的混淆矩阵。引入损失(Loss)值、像素准确率(accuracy)和F1值评价模型性能,同时引入图像交并比运算方式定量评价模型预测结果和优化后结果精度。

(1)Loss值。Loss值是在网络训练时根据ELU损失函数计算而来,反映模型预测结果和真实结果之间的差异,通常损失值越小,模型训练效果越好。

(2)准确率。即为分类模型预测结果中所有预测正确的像素点个数与模型预测出的矿石目标像素点个数的比值,取值越大,表明其具有更高的泛化能力。

(3)F1值。F1值可同时评价精准率和召回率,其取值范围为[0,1],越接近于1,则模型性能越强,效果越好。计算公式为

式中,R为所有正类别样本中,被正确识别为正类别样本的比例;P为被识别为正类别的样本中,为正类别的比例。

(4)图像交并比。图像交并比(IOU)用矿石目标的预测结果和真实值的交集和并集的比值来表示,交并比越大,表明数据越接近真实。公式为

式中,C为本研究方法分割结果;G为基于labelme 工具的标准分割结果。

3 结果分析

经训练后,本研究U-Net 网络模型训练时间为990.13 min,在第55 次epoch时损失值不再下降,停止训练。其Loss值为0.060 1,充分表明模型在训练过程中能更好地更新模型参数,有效降低模型风险。模型像素准确率为0.965 4,说明该网络模型具有较强的预测能力。模型F1值为0.952 5,表明该模型针对爆堆矿石图像预测性能良好,模型可应用于爆堆矿石图像分割。将爆堆矿石图像(图5(a))作为模型输入,经预测后得到爆堆矿石图像初步分割结果,如图5(b)所示。

图5 U-Net 网络模型预测结果Fig.5 Prediction results of U-Net network model

由图5 可知:分割结果中存在分割粘连现象,这是由于爆堆矿石图像中矿石目标分布密集、边缘对比度低和相互堆叠所致。基于距离运算的分水岭算法可有效消除图像分割结果中的欠分割现象。因此,本研究采用基于距离运算的分水岭算法进一步优化UNet 网络预测后的爆堆矿石图像分割结果,同时利用形态学运算优化其结果,结果如图6 所示。

图6 基于距离运算的分水岭算法优化结果Fig.6 Optimization results of watershed algorithm based on distance operation

通过对比分析图5(b)和图6 可知:优化后的结果可有效解决U-Net 网络模型预测结果中的欠分割现象,进一步提升爆堆矿石图像分割的准确性。

为了定量评价本研究方法精度,利用labelme 手动标注工具标注上述原始爆堆矿石图像,获取爆堆矿石图像真实分割结果,并结合U-Net 网络模型预测结果和基于距离运算的分水岭算法优化结果,计算交并比。结果表明:U-Net 网络模型预测结果交并比为90.75%,利用基于距离运算的分水岭算法优化后结果的交并比为91.22%,表明利用基于距离运算的分水岭算法可有效提升U-Net 网络预测精度,为露天矿爆破大块率统计提供更可靠的依据。

4 结 语

大块率准确解算是智能评价爆破效果的重要前提,本研究依据现场爆破矿石图片,提出了一种基于U-Net 和改进分水岭算法的露天矿爆堆矿石图像分割方法,可精准统计爆破大块率。所得结论如下:

(1)本研究所构建U-Net 网络模型针对爆堆矿石图像分割具有较强的预测能力,且性能良好,其Loss值、像素准确度和F1值分别为0.060 1、0.965 4、0.952 5。

(2)基于距离运算的分水岭算法能够有效处理U-Net 模型预测结果中的欠分割现象,有效提升爆堆矿石图像分割精度。

(3)利用本研究方法可较为准确地分割爆破矿石图像,有助于高效解决矿石目标分布密集、边缘对比度低及欠分割等问题,对于提高爆破效果评价的智能化水平大有裨益。