曹又文 ,刘庆省 ,魏自浩 ,张喜林 ,孙治雷 ,卢泽宇,3 ,郭金家*

(1.中国海洋大学 物理与光电工程学院,山东 青岛,266100;2.青岛海洋地质研究所 自然资源部天然气水合物重点实验室,山东 青岛,266237;3.青岛海洋科技中心,山东 青岛,266237)

0 引言

海洋蕴藏着丰富的资源,海洋资源的开发利用对人类的生存与发展具有着重要意义。近年来,光学三维成像技术在海洋矿产资源勘查和极端环境探测中逐渐受到重视,主要包括距离选通法[1]、结构光法[2]、激光雷达法[3]、立体视觉法[4]和运动恢复结构(structure from motion,SFM)法[5]等。从水下应用状况来看,对于海底地形地貌精细测绘,使用单目光学相机搭载于水下移动平台以获取海底的光学影像资料仍是目前的主流方式。相较于双目或多个光学相机而言,单目相机在实际探测过程中成本较低、易于使用,且不需要特别校准。

借助一些外部辅助设备和图像处理方法,单目相机可以间接实现成像目标的三维重建,基于单目相机的光学三维重建方法可分为主动式和被动式2 种[6]。其中主动式三维重建常使用激光作为照明光源,而被动式三维重建采用的是普通白光照明光源。被动式三维重建方法可进一步分为2 种,一是使用预先校准的设备,将2 个或多个相机放置在目标物体周围固定位置,这种方法在水下尤其是在深海中实施比较困难;另一种是SFM方法,该方法使用1 部相机从不同方向拍摄同一场景的连续照片,不需要地理参考目标和额外的硬件支持,利用重叠图片上的二维特征集合来恢复三维相机运动和三维场景结构。因其可以通过低廉的成本获得高分辨率的地形数据,已被广泛应用于各种地理测绘中,如监测沙丘移动和海滩变化[7]、冰川动力学分析测绘[8]、河流地形[9]、滑坡测绘[10]及土壤侵蚀[11]等。

在海洋环境中,SFM 方法常被用于从自主水下航行器(autonomous undersea vehicle,AUV)或水下遥控航行器(remotely operated vehicle,ROV)上获取的视频数据来进行高分辨率海底三维重建,如Robert 等[12]基于ROV 获取的视频影像资料,使用SFM 方法对海底峡谷的悬崖进行精细刻画,重建了非常细腻的地形图,并利用这些数据进一步调查了深海珊瑚和冷水珊瑚的分布;Teague 等[13]采用ROV 单目相机的视频资料,对希腊米洛斯岛古乔里湾周围的浅层热液喷口进行了三维重建,开展了不同范围的底栖生物栖息地的调查;Wright等[14]构建的SeaArray 摄影测量系统对水下考古遗址进行了测绘评估,通过与实时运动学标记方法、手工地图绘制方法的比较,验证了SFM 方法在水下场景测绘中的高效性与准确性,典型的测绘结果表明SFM 模型的水下测绘精度可达5 cm左右;Burns 等[15]则将SFM 方法与地理空间软件相结合,用于夏威夷群岛珊瑚礁的三维建模,并通过其与珊瑚活体的对比,分析了珊瑚生态系统的健康状态。上述研究中SFM 算法的实现大都基于商业化图像处理软件Agisoft PhotoScan,封闭的软件环境限制了SFM 算法改进优化的可能性。

随着国内水下运载平台的快速发展,基于单目相机的海底调查研究已有很多报道,但目前多采用视频图像拼接,即通过多幅图像获得更大范围的二维图像,如在我国南海北部冷泉区“探索4500”AUV 通过搭载光学相机拍摄了一系列海底图像,经过处理后获得了全景高分辨率地图[16]。然而,基于单目相机的三维重建报道较少,文中针对单目相机获取的海底光学图像,开展了图像增强和三维重建方法研究,完成了深海微地形地貌和生物生态、矿物岩石等信息的三维重建,支撑了我国水合物矿区的精细调查工作。

1 基于单目相机的三维重建方法

1.1 单目成像系统

文中选用4K 工业相机进行成像,采用互补金属氧化物半导体(complementary metal-oxide semiconductor,CMOS)作为传感器,分辨率为3 840×2 160,最大帧率为25 fps,可以较为稳定清晰地获取目标的实时图像信息。相机封装在圆柱形铝合金防水舱内,前端装有15 mm 厚度的石英透明窗片以便透过光线。防水舱厚度10 mm,与石英窗片以锁紧盖和密封圈连接,后端通过水密线缆进行密封与数据传输,在下水前接受相当于最大工作深度2 000 m 水压的打压测试,以保证系统的水密性与耐压性。

系统搭载于“FCV 3000”ROV,基于“海洋地质九号”深海考察船进行了深海原位测试,获得了大量携带海底地形地貌信息的视频图像资料,覆盖了陆坡区海底存在的一系列典型地形地貌。在海底工作时,将系统固定于ROV 前端,并通过水密线缆连接ROV 实现供电与通信,当ROV 到达海底后,控制其在距离海底大约5 m 的高度进行水平移动,扫过下方目标物,连续获取图像并存储。系统海上现场工作照片如图1 所示。

图1 搭载在ROV 上的单目相机Fig.1 Monocular camera mounted on ROV

1.2 水下图像预处理方法

受海水、水中有机物和悬浮颗粒物等吸收和散射的影响,通常基于光学相机获取的海底图像具有亮度小、能见度差、对比度低及模糊等特征。为了得到高质量的海底图像,需要将图像进行预处理增强。文中针对海底光学成像的特点,使用了白平衡、伽马校正和瑞利分布函数拉伸图像相结合的图像增强算法,首先对图像进行白平衡,之后进行伽马校正,调整各个颜色通道图像强度因子,最后再由三通道组成,流程如图2 所示。

图2 图像增强流程图Fig.2 Flowchart of image enhancement

基于传统的图像增强方法对光学图像进行了分析,包括直方图均衡化(histogram equalization,HE)、限制对比度自适应直方图均衡化(contrast limited adaptive histogram equalization,CLAHE)、单尺度Retinex(single-scale retinex,SSR)和多尺度Retinex(multi-scale retinex,MSR)算法,如图3 所示。分析表明,传统的图像增强方法只对照明相对较好的场景有效,并不适用于质量较差的图像,不能有效地提升对比度。文中方法在对比度和颜色方面都能起到显著增强的效果,能够最大程度保留原始图像特征的基础上,增强图像中的细节,并有效解决图像颜色衰退的问题。

图3 不同增强方法预处理后的图像Fig.3 Images after preprocessing with different enhancement methods

1.3 SFM 方法

基于SFM 的海底成像系统工作模式如图4 所示,SFM 原理是收集相机在不同位置下获得的图像序列,通过求解图像序列间的几何约束关系,再利用算法重建出被测区域的三维信息。SFM 方法与其他被动重建方法相比,并不依赖于成像设备的位置和方向信息,可以自动确定相机内部几何、位置和方向,而不需要预先定义。

图4 基于SFM 的海底成像示意图Fig.4 SFM-based seafloor imaging

SFM 分全局式和增量式2 类。全局式SFM是先求得每幅图像的相对位姿,再通过三角测量获得场景点,最后进行一次捆集调整,效率较高但鲁棒性较差。增量式SFM 是在三角测量、求解相机位置和姿态后进行局部捆集调整,随着图像数量的增加,调整后累积误差也会逐渐增加,导致重建后的相机姿态与实际不符,并且每次都需进行捆集调整,较为耗时。由于海底图像资料较大,拆分出的图像数量多达上百张,对运算效率、精度和误差累积都有较高的要求,因此文中采用全局式SFM 进行三维重建,流程如图5 所示。

图5 全局式SFM 三维重建流程Fig.5 3D reconstruction by global SFM

首先对输入图像序列逐一检测特征点,并进行特征符赋予,对相邻图像间进行匹配,保留满足几何约束的最佳匹配,恢复相机内参和外参,使用三角测量法得到三维坐标,通过捆集调整进行优化,最后利用重建算法获得三维重建模型。

1.4 三维重建方法

1.4.1 稀疏三维重建

SFM 三维重建主要步骤如下: 1) 提取单个特征图像;2) 求解每个图像对应的特征匹配和几何关系;3) 初始化重建。根据对极几何模型中的基础矩阵与本征矩阵,依次对相邻两张图像进行重建,求解得到图像的位姿,2 个图像之间的公共点作为构建点云的输入。如果图像中有一组三维点和相应的二维投影,则校准相机姿态,以便记录新的点并加入到模型当中,在这个过程中通过三角化来确定匹配点的三维位置。然而,由于连续不断添加新的点集,累积产生的误差会越来越大,所以采用捆集调整算法,优化每个视图的三维结构和相机运动,使重投影误差最小化。最后通过重复捆集调整算法进行迭代,将计算出的三维坐标值与阈值比较,当大于阈值时判断为误差点并删除。

文中所用的数据是我国海域海底精细调查中,利用单目成像系统拍摄到的海底视频流,三维重建图像数据集由视频流中拆分的若干图像序列组成,如图6 所示。利用图中实测数据进行三维重建得到的结果如图7 所示。可以看出获得的海底稀疏点云只反映了大致轮廓,目标物体表面不清晰,不能够具象地体现出海底地形特征,点云表面存在大量的空洞。

图6 视频流中拆分出的部分图像数据集Fig.6 Partial image dataset split from video stream

图7 海底稀疏点云Fig.7 Sparse point cloud of seafloor

1.4.2 密集点云重建

由于SFM 在检查2 幅图像的对应关系点时只取了纹理点,忽略了局部极大值周围的点,导致存在较多空洞,因此,需要对稀疏点云数据进行稠密扩充。文中采用基于面片的多视图密集重建(patchbased multi-view stereo,PMVS)算法[17],对不规则物体以及目标对象的细节特征进行空间深度的估计和融合,以达到密集点云重建的目的。PMVS 算法通过构建具有方向的矩形面片集拟合出三维物体表面的局部切面,不需要对边界外包进行初始化,具备自动检测和剔除异常点的能力。海底稠密点云重建结果如图8 所示。

图8 海底稠密点云Fig.8 Dense point cloud of seafloor

1.4.3 泊松表面重建

泊松表面重建(Poisson surface reconstruction,PSR)是将点云的重建问题转化为求解空间内的泊松方程[18]。通常计算几何学中常用的Delaunay 三角网和其对偶的沃罗诺伊图,对处理的点云质量有一定要求,遇到含噪声的点云往往需要先去噪后再进行重构。与之相比,PSR 将离散的点云信息转化到一个连续表面函数上,构造出水密隐式表面,使得对夹杂的噪声不那么敏感。由于PSR容易在非封闭的数据中产生不规则的伪曲面,影响曲面效果,因此,文中通过引入屏蔽因子来约束重建过程,以减少法向量的估计。根据SFM 算法生成的点云数据及图像RGB(red,green,blue)数据,通过开放图形库(open graphics library,OpenGL)完成纹理映射,结合相机参数和光学图像,将图像转换为纹理素材,估算点云模型的法向量并进行贴图,PSR 及其纹理映射如图9 所示。

图9 泊松表面重建及纹理映射图Fig.9 Poisson surface reconstruction and texture mapping map

1.5 重建结果分析

表1 为三维重建的相关参数。根据密集点云重建的过程,对不同区域进行点云参数分析。由图10 可以看出,稀疏点云分布不均匀,只能大概反应表面轮廓,使用稀疏点云构建的平面会出现大部分的残缺,且连接不够平滑;通过密集点云重建后,虽然会忽视部分孤立的点云,但是主要点云周围的点云集数量增多,优化了点云的分布。

表1 重建结果相关参数Table 1 Relevant parameters for reconstruction results

图10 稀疏点云到密集点云的重建结果对比Fig.10 Comparison of reconstruction results from sparse to dense point clouds

将点云数据分别应用于PSR、Delaunay 三角剖分与添加屏蔽因子的PSR 以比较重建效果,如图11 所示。由于海底成像的特殊环境,无法有效地从各个方面捕捉目标的表面,在点云密度分布不均匀的情况下,Delaunay 三角剖分更容易出现拉伸或者孔洞现象,相比之下,PSR 一类的算法生成的曲面模型表面较为光滑。

图11 点云数据应用于不同重建方法的结果对比Fig.11 Comparison of results of point cloud data applied to different reconstruction methods

根据Hausdorff 距离来评估不同算法的重建效果,指标如表2 所示。可以看出,基于Delaunay 的三维重建总体指标高于传统PSR 算法,重建所需时间也更短。而添加屏蔽因子的PSR 算法的指标比Delaunay 和传统PSR 更低,在图中也表现出对物体表面颗粒度以及粗糙程度反映更加细腻,进一步表明该重建算法的建模质量更高。

表2 不同算法的三维重建评估指标Table 2 3D reconstruction evaluation indexes for different algorithms

2 海底典型区域三维重建

我国海域蕴含着丰富的天然气水合物资源。近年来,不断发现的天然气水合物富集区[19]和相关的冷泉流体、生物群落、泥火山、底辟、麻坑、碳酸盐结核结壳以及基岩出露等[20],已成为我国水合物产业化的主要基地。为此,利用文中建立的基于单目相机的深海微地形地貌高精度三维重建方法,在我国南海和东部海域水合物富集区和冷泉发育区进行了实地应用,取得了一系列高精度的探测结果,对研究区域地形地貌、生物生态和特殊地质现象的调查研究提供了重要的支撑材料,也验证了文中方法在深海探测过程中的科学性和可行性。

2.1 南海水合物勘探区沙波区

在我国南海天然气水合物勘探阶段,为详细了解水合物远景区的地形地貌,基于SFM 方法获取了调查区海底环境的三维重建结果,如图12 所示(其中,下部的①～⑤为上图对应区域的局部放大图)。从图中可以看出,南海水合物远景区沙波的分布主要集中在上陆坡地区。在空间上,沙波规模向下陆坡方向总体减小。从形态上,沙波总体表现出黑白相间,其中白色为有孔虫砂,黑色为沙波被铁锰覆盖的部分,由此表明该地区沙波的形成经历了较漫长的地质过程。这是由于南海上陆坡地区底流作用较强,特别是内波对该地区沉积地貌具有强烈的改造作用。据此推断,调查区的沙波主要是在强烈的内波冲刷和改造作用下形成,由于东沙地区火山活动活跃,造成这些沙波后期被铁锰氧化物所覆盖,形成了当前黑白相间的状态。

图12 沙波区的三维重建结果Fig.12 3D reconstruction result of sand wave area

2.2 南海冷泉碳酸盐结核、结壳发育区

图13 展示了南海冷泉碳酸盐结核发育区的三维重建结果,可以看出海底冷泉碳酸盐结核非常发育,并栖息着一些典型的底栖大生物,构成了较好的海底生态系统(其中,下部的①～②为上图对应区域的局部放大图)。利用ROV 探测追踪,该区面积可达数平方千米以上,表明该处曾经发生了大规模的甲烷泄漏事件。当海底甲烷发生泄漏后,绝大多数甲烷通过硫酸盐驱动的甲烷厌氧氧化反应被固定在海底。因此能有效减缓海洋碳泄漏对环境的影响,避免海水酸化和生物物种受损等负面影响。通过对海底地形地貌进行三维重建还原,有助于精确判断冷泉碳酸盐结核和底栖生物的赋存状态及规模,探索海底冷泉碳酸岩成因和总量等关键问题。

图13 碳酸盐结核发育区的三维重建结果Fig.13 3D reconstruction result of carbonate nodule growth area

在南海海域冷泉碳酸盐岩结壳区也开展了研究调查,获取光学影像资料后开展了三维重建,如图14 所示(其中,下部的①～③为上图对应区域的局部放大图)。结果发现相对于结核区,该结壳区海底较为平坦,同时底栖生物缺乏,黑色的铁和锰沉淀并不发育,表明该结壳形成不久或仍在增生。但在某些区域仍会出现单独的黑色结核,表明结核和结壳的形成并非同一期次。

图14 碳酸盐结壳发育区的三维重建结果Fig.14 3D reconstruction result of carbonate crust growth area

2.3 东部海域冷泉区

除了在我国南海开展调查,也对我国东部海域重点区海底冷泉系统进行了探测和重建,以进行2 个海域冷泉活动的对比研究。通过重建结果首先发现,该区域是一个典型海底活动冷泉,具有海底冷泉所有要素,是不可多得的科学研究区。另外,该冷泉区赋存有大量碳酸盐岩,主要形状有结壳状、结核状、角砾状和大量岩石堆积成丘状,如图15 所示(其中,下部的①～④为上图对应区域的局部放大图)。这些碳酸盐岩矿物主要是由于强烈的甲烷渗漏所致,甲烷流体为化能自养生命群落带来了丰富的食物和能量来源,支撑了繁盛的生态系统。借助于文中重建的高精度三维地形地貌图,可以更加清晰地识别出该区域内存在的典型底栖生物,包括管状蠕虫海蛇尾、蛤类、海星和海葵等,这更加证实了该区域在地质历史时期内存在的强烈甲烷渗漏。

图15 冷泉区的三维重建结果Fig.15 3D reconstruction result of cold spring area

利用声学手段可以探测到冷泉流体形成的火焰状异常,通过该异常信号定位冷泉区域,但是在声学图像中无法识别出生物和岩石等信息。文中方法获取的海底冷泉区高精度地形地貌图,可以在不同旋转视角下呈现,如图16 所示,与声学地形图相比,精度更高,更符合人类视觉,对未来进行深海极端环境的快速、精细探测,开展深海水合物赋存区地形地貌、极端生命群落生态以及冷泉碳酸盐岩形成机理研究,评价资源量和环境影响,提供了重要的技术方法支撑。

图16 不同旋转视角下的三维重建结果展示Fig.16 3D reconstruction result under different rotating views

3 结束语

文中针对深海微地形地貌高精度三维重建需求,搭建了ROV 深海光学单目成像系统,针对获取的深海典型区域内的海底光学图像,开展了海底图像增强和基于SFM 的三维重建方法研究。并在重点海域水合物赋存区进行了验证,精细地刻画出了区域内的微地形地貌特征、生物生态以及矿体特征等信息,结果表明,该方法为深海典型勘探区域的海底微地形地貌高精度三维重建提供了实用的技术方案。

后续将进一步使用标准物体进行系统精度测试评估,并采用点云分割与配准等点云处理算法来更好地对获取到的三维信息进行展示与分析。同时,也考虑将激光线扫描获取的点云形式的海底三维灰度信息和单目相机获取的光学数据进行联合研究,促使深度信息与色彩信息的融合,进而提高海底三维重建的精度。