邓君兰， 董澧辉， 宋 伟，2， 赵小兵， 刘同木， 庞云天

（1.中央民族大学 信息工程学院，北京 100081； 2.自然资源部海洋环境探测技术与应用重点实验室，广东 广州 510310； 3.国家海洋局南海调查技术中心，广东 广州 510300； 4.北京先驱高技术开发有限责任公司，北京 100081）

随着陆地金属矿床资源逐渐枯竭，近年来多个海洋强国已将目光瞄向了矿物资源储量丰富的深海［1－2］。深海中的多金属结核、富钴结壳、硫化物和热液矿床等能够用于提炼现代工业制造所需的稀有金属。 若对结核矿区进行有效勘探，选择高丰度、低成本的区域进行合理、绿色开采，一定程度上能够缓解目前陆地金属资源紧缺的局面。

深海矿产资源处于高气压、低温度、极黑暗的恶劣环境中［3］。 目前许多学者对海底资源矿物评估方法进行了研究［4－5］。 海底资源评估主要采用了3种方法：取样器取样、多波束回波反射和海底高清摄像。 这些方法在实践中均存在不足：取样器取样成本高、覆盖面窄；多波束回波反射准确率低，对矿物个体信息挖掘不足。 使用海底高清摄像获取的矿物图像对矿物资源进行评估时，由于海水和悬浮体会对光的吸收和散射造成较大影响［6］，不同水质、不同照明以及不同拍摄距离下的深海矿物成像会产生不同程度的色偏与模糊，从而给后续的矿物图像分析带来困难。 Sea-thru算法［7］通过摄像机与水中物体之间的距离和水下成像物理模型计算水对光的衰减影响，逐像素逆转海底图像的失真。 Mask R-CNN［8］是一种用于目标检测的神经网络，同时能够输出高质量的实例分割掩模。 本文首先使用Sea-thru 去除图像中水的干扰，然后基于Mask-RCNN 对预处理后的图像进行分割，最后统计数据集中的矿物分布情况。 结果表明，该算法可快速准确地挖掘矿物个体信息，为采矿作业提供准确的矿物分布信息。

1 深海结核评估原理和方法

1.1 基于Sea-thru 的海底图像增强

深海中的锰结核矿物分布于水下4 000 m 以下，随着水深增加，不同波长的光因被水吸收而衰减，其中红光在深度约3 m 处消失，橙光在5 m 处消失，大部分黄光在10 m 处消失。 因此当拍摄距离较远时，矿物图像往往存在蓝绿色的色偏。 光在水下传播时，由于悬浮物引起前向散射和后向散射，图像的清晰度和对比度会降低。 此外，当照明度低时，图像颜色也会衰退。海底图像的增强方法可以分为基于物理模型和非物理模型两大类。 忽略前向散射的水下成像物理模型（IFM）［7］可以表示为：

式中Ic为摄像机捕获的最终信号；Dc为衰减后的直接信号；Bc为后向散射造成的蓝绿色遮蔽光；Jc为清晰的未衰减的直接信号；B∞c为背景光；c为RGB 中的任一通道；z为每个像素的实际位置与摄像机的距离；和为衰减系数，分别为影响最终信号中直接信号和后向散射信号的比例与拍摄距离z、反射率、环境光谱、相机光谱响应以及水体对光的衰减率有关与环境光谱、相机光谱响应以及水体对光的物理散射和衰减率有关。 Sea-thru 方法通过拟合IFM 中的z、参数求解出Jc，实现水下图像的颜色矫正和去雾。

1.1.1 深度z的估计

深度图是描述图像各像素实际位置距离摄像机远近的图像。z的估计是关键，它影响后向散射以及照明图的估计。 Sea-thru 使用运动恢复结构（SFM）算法从多幅二维图像序列中估计三维结构，从而获得深度z。 由于缺乏同一位置的多张图，本文通过单幅图像的红光吸收差异来估计z。

水下图像中较近的场景点红光衰减小，较远的场景点红光衰减大。 对红色通道图像、最大值合并后的蓝绿色通道图像使用大小为9 × 9、滑动步长为1 的窗口做最大值池化，两者差值为红光衰减度d：

d归一化并取反为估计的深度z：

1.1.2 后向散射Bc的估计

对于水下图像中的较暗点，最终信号中后向散射信号的比例往往大于直接信号，因此估计的后向散射信号可近似为暗场景点的最终信号，用后向散射信号加上直接信号的残差项表示：

图1 根据暗场景点拟合3个通道的Bc 值

将散射信号Bc从最终信号Ic中移除后能够获得衰减后的直接信号Dc，估算出衰减系数则能推导出未衰减的直接信号Jc。可以通过相机和场景之间的照明度Ec和深度z估计：

基于深度信息z，采用局部空间平均颜色（LSAC）方法，可以很好地估计图像的照明度Ec。 LSAC 算法首先将深度图中像素点与其上下左右4 点的深度差小于某一阈值的位置划分为一类邻域，计算出邻域图Ne；然后将减去均值后的邻域图Ne′与直接信号Dc进行加权形成新的邻域图：

本文加权系数p取0.5，式（6）迭代100 次后去噪获得最终的照明图Ec。 此外，根据先验知识，βD c可以建模为两项指数函数的叠加：

将求解出的z、Bc、代入IFM 模型，恢复出清晰图像Jc，并通过白平衡算法增强Jc，完成海底矿物图像的预处理。

1.2 基于Mask R-CNN 的海底图像分割

深海矿物资源评估需要矿物覆盖率、粒径和丰度等信息，因此需要对拍摄的深海矿物图像进行准确分割以获得矿物边界图。 深度学习模型Mask R-CNN［8］可以完成结核矿物的准确分割，该模型由何凯明在2017 年提出，首次将实例分割引入Faster R-CNN［9］，在目标检测模型上添加了Mask分支。 模型用局部特征图对齐层替换了局部特征图池化层，是RCNN 系列模型的里程碑。

Mask R-CNN 由两个阶段组成［8］，如图2 所示。第一阶段，将通过特征提取网络和特征金字塔网络得到的特征图送入建议框网络中，得到初步筛选的建议框，然后采用对齐的方式将每个建议框对应的特征图统一为单一尺寸。 第二阶段，将建议框对应的特征图输入全连接层，经过回归和分类处理得到边界框。 在Mask分割分支中，针对每一个边界框生成k个Mask，k是目标类别数。 本文将不同形态的多金属结核认为是同一个类别，即k＝1。 矿物图分割之后能获取矿物颗粒个体信息，分割结果进一步通过椭圆形态拟合还原出结核矿物真实形态，最后计算出矿区的矿物分布信息。

图2 Mask R-CNN 网络结构

2 验证与应用

2.1 实验结果分析

使用分割准确度、UIQM［10］、UCIQE［11］、CCF［12］作为图像增强后的质量评价指标。 矿物分割准确度Accuracy为Mask R-CNN分割出的矿物个数与实际矿物个数的比值：

式中Na为箱式取样获得的矿石个数；Nb为神经网络分割的矿石个数。

UIQM、UCIQE、CCF 均为专门评价水下图像视觉质量的无参考评价指标，其值越大表示水下图像的恢复质量越好。 UIQM 通过将色度、清晰度、对比度测量指标进行线性组合来衡量图像的视觉质量。 其中，色度指标基于Hering 的对立色理论，使用红绿色通道和蓝黄色通道的均值和方差来度量图像色彩的平衡。 清晰度指标首先使用Sobel 算子获得各个通道的图像边缘，再使用EME 算法度量图像清晰度。 对比度指标基于lg（AMEE）算法获得。 UCIQE 同样是色度、饱和度和对比度的线性组合。 UCIQE 的色度计算与UIQM 类似，通过CIELab 颜色空间内各通道的均值和方差获得；清晰度计算与UIQM 一致；对比度基于AME 算法获得。 CCF 通过色度、对比度和雾密度分别量化水下光线吸收导致的颜色衰减、前向散射引起的模糊和后向散射引起的雾化。 CCF 的颜色指标计算与UCIQE一致；计算对比度时，图像被划分为小块，通过Sobel算子获得的边缘像素数量大于块中总像素数量的0.2%则判断为边缘块，所有边缘块的RMS 对比度值之和为对比度测试结果；雾密度通过FADE 模型计算出雾的等级。

本文使用Sea-thru 算法对数据集进行预处理并使用Mask R-CNN 算法进行图像分割。 表1 显示了红光衰减严重场景下的图像增强情况，图像大小为1 000×1 000 像素。 结果显示，通过图像预处理矫正了色偏，去水效果明显。

表1 明显色偏的海底矿物图像增强结果

表2 显示了照明条件较差的矿物图像经Sea-thru预处理后的结果。 结果表明，增强后的图像质量明显优于原图，能够清晰地观察到矿物细节，图像光照得到补偿，颜色得到矫正，对比度得到提高。

表2 照明条件差的海底矿物图像增强结果

不同光照和深度下拍摄的图像经过Sea-thru 预处理后呈现出较为统一的颜色分布，这不仅提高了矿物分割准确率，而且能够提高模型泛化能力。

表3 显示了表1～2 中各图基于Mask R-CNN 的矿物分割准确度以及各项图像质量评价指标值，斜杠后为增强图像的结果。 UCIQE、UIQM、CCF 指标通过水下图像质量网页评价平台（PUIQE）获得。 数据表明，经过预处理的图像不仅视觉质量变好，矿石分割的准确度也得到了一定的提升。

表3 原图和增强图像的指标对比

基于Mask R-CNN 的矿物分割采用了Detectron2工具箱，训练集包括86 张图片，标注工具使用了Labelme。 训练阶段超参数中的批处理大小设置为1，迭代次数为40 000，初始学习率为0.000 25，动量设置为0.9，建议框数量经过非极大值抑制后设置为60 000个，测试阶段置信度设置为0.7，其余参数与Detecron2默认值一致。 当海底矿物图像清晰度受限时，Mask R-CNN 存在欠分割现象，经过Sea-thru 增强后，一些原本不能被识别的矿物颗粒能被分割出来，图3 中框框所标识的区域对比最为明显。 图3 的粒径分布统计结果如表4 所示。 数据显示，增强后的图像在［0，3）、［3，6）、［6，9）范围内均识别出了更多矿物。

图3 基于Mask R-CNN 算法的海底矿物图像分割结果

表4 海底矿物图像分割结果的粒径分布统计

2.2 资源评估

选取覆盖率和粒径作为资源评估的参数。 覆盖率为海底表面一定面积内结核覆盖面积所占百分比，粒径为圆形或椭圆拟合所有结核后的平均直径。

结核覆盖率的计算公式为：

式中Si为第i个结核矿物拟合区域的像素面积；Iwidth和Iheight分别为图像宽度和高度。

粒径的像素长度为所有矿物分割后进行椭圆拟合的长轴平均值。 采集设备上附载的激光坐标仪能够标定每个像素的实际距离，从而得到粒径的实际长度。实验通过红绿蓝3个通道的阈值范围筛选获得激光点坐标。

本文随机选取70 张图像作为测试集，矿物分布信息统计结果如图4 所示。 矿物密集区域的平均粒径5～6 cm，覆盖率70%左右；矿物稀疏区域平均粒径2 ～3 cm，覆盖率20%左右。 统计结果与箱式取样器获取的实际分布情况基本一致，验证了本文算法的正确性。通过对比测试集的矿物分割颗粒数量与矿物实际数量，密集区域平均分割准确率97.12%，较稀疏区域平均分割准确率92.46%，稀疏区域平均分割准确率80.00%。 这可能是覆盖率低的区域泥沙掩埋较明显，导致偏差增大。

图4 矿物分布信息统计

3 结 语

1） 利用红光吸收差异改进Sea-thru 算法可以有效还原海底矿物的真实深度图，减少图像的颜色失真。

2） Sea-thru 算法可以减少海水、悬浮体、不均匀光照带来的影响，有助于后续分割更多的矿物颗粒。

3） 采用Mask R-CNN 算法获得的分割结果在密集区域的平均分割准确率为97.12%，经过椭圆拟合计算出的矿物粒径、覆盖率等信息与实际结核矿物资源分布一致。

4） 基于Sea-thru 与Mask R-CNN 的海底矿物图像处理算法仍存在一些不足：亮度不均匀问题尚未彻底解决；矿物存在掩埋、遮挡的情况下，仍需找到更加有效的算法进行原始状态的拟合，从而更进一步提升矿物资源的评估准确率。 未来可以构建海底矿物图像信息挖掘系统，通过将箱式采样数据、图像分割数据和多波束数据统一进行数据建模，以精确的采样数据校正亚精确的分割数据，再用亚精确的分割数据校正多波束数据，点线面相结合得到三者之间的映射关系，辅助完成深海采矿工程中矿物勘探数据的收集任务。