朱志鹏, 朱志宇

一种基于双目视觉的水下导引光源检测和测距方法

朱志鹏, 朱志宇

(江苏科技大学 电子信息学院, 江苏 镇江, 212000)

为满足自主水下航行器(AUV)水下对接过程中高精确性、实时性和鲁棒性等要求, 提出一种基于双目视觉的水下导引光源检测和测距方法, 其中包括水下相机标定、原始图像去噪、光源检测、位置信息解算等几个重要步骤。在原始图像去噪阶段, 引入Laplace算子改进均值去噪算法并增强图像突显光源; 接着使用基于二分法的自适应阈值二值化图像, 将光源与背景有效分开, 进一步检测并匹配左右成像平面光源; 最后, 根据双目定位原理, 利用检测出的光源信息解算相对位置。文中针对水下环境改进传统均值去噪, 更加突显导引光源信息, 以连通域为循环判断条件, 自适应获取最佳图像二值化阈值, 利用加权质心检测确定光源中心, 并通过试验验证该方法满足水下对接精度要求, 且实时性得到优化。

自主水下航行器; 双目视觉; 水下对接; 图像处理; 定位

0 引言

随着科学技术的发展, 水下机器人成为各国海洋勘探、军事与商业环节中的重要工具之一。由于自主水下航行器(autonomous undersea vehicle, AUV)具有高机动性和大范围水下巡航能力等优点, 在水下勘探、观测、制图、定位、深海采样和军事防御中扮演重要角色。但AUV自身携带能源有限, 限制了自身水下作业范围, 所以对AUV的自主对接和回收技术研究尤为重要。

AUV与对接坞回收的过程可以分为远距离导航阶段和末端导引阶段[1-2]。当AUV处于远距离导航阶段时, 水下对接系统对导航精度的要求不高, 一般采取水声定位方法或者融合惯性导航和多普勒计程仪等传感器以组合导航的方式接近对接目标[3]。当AUV靠近对接坞时, 导航定位的系统精度大体上决定最后对接的成功率, 因此需采用精度更高的导航策略, 包括声学导引、光学导引、电磁导引和视觉导引[4]。在近距离导引阶段, 视觉导引在隐蔽性、通用性和精度上均较优于另外3种导引方式[5]。

由于水下情况复杂, 实际的水下环境中存在大量的浮游生物和微小型颗粒, 这使得成像画面清晰度低, 噪声干扰严重。此外, 在位置距离计算中, 双目视觉定位需要对特征点进行计算, 因此特征点的获取十分关键。姜言清、王晓娟等[6-7]分别使用Hough圆形检测与心形轮廓线提取参考光源, 该方法可以有效提高识别精度, 但其计算量大, 计算耗时久。Li 等[8]针对水下环境使用改进Otsu自适应阈值分割方法, 在传统Otsu方法上增加约束条件, 分割图像理想化的同时也相应增加了计算量。常用的水下光源检测方法为Hough圆形检测法, 通过对光源圆心的查找以确定光源中心坐标, 以此为特征坐标点解算AUV最终的位置信息。但在实际的水下环境中, 导引光源非直射状态下, 光源图像呈椭圆形, 使得Hough算法误判光源中心, 进而影响定位精度, 并且其算法本身需考虑边缘检测阈值、圆形半径范围、相对圆心距离, 所以该算法计算量大、占用CPU处理周期长。

基于以上水下对接过程中检测光源目标点存在的问题, 文中提出一种改进方案, 在传统均值图像去噪基础上, 加入Laplace算子检测图像边缘[9-10], 增强导引光源部分信息。在光源检测方面, 以8-领域连通域为判定条件寻找最佳二值化阈值, 通过加权质心算法提取光源中心坐标。最后, 利用实际的水下图像验证了该方案在具体距离信息下的解算精度与实时性。

1 方案总体流程

双目视觉原理如图1所示, 左右2台电荷耦合器件(charge coupled device, CCD)相机在不同位置同时获取目标图像, 目标点会在2个成像平面形成坐标, 二者之间存在的差异, 即视差。计算出视差就可以根据相似三角形原理求出目标点在世界坐标系下的坐标。获取物体(如光源)三维坐标之后, 可以通过下式计算AUV与导引光源的相对位置信息[9], 即

式中: 、分别为目标点在左右成像面上的横坐标; 为两相机基线长; 为相机焦距; 为目标点与相机之间的深度值。

文中基于双目视觉的水下导引光源检测和定位方法提出实施方案, 具体流程如图2所示。在水下光源拍摄之前, 需要对2台水下CCD相机进行双目标定, 获取2台相机的位置和旋转关系及内外参数以便后续的图像处理[11]。将2台水下CCD相机水平内嵌于AUV的正前方, 用以保证导引光源全部位于双目相机视角中。开启相机采集4个导引光源的图像, 首先采用改进的均值滤波去除原始图像的噪声; 其次采用基于二分法的特殊阈值二值化图像对图像进行灰度变换; 接着利用距离加权质心算法提取光源中心并对其配对; 最后根据相对应的坐标求解出AUV与对接坞之间的位置关系。

2 水下图像去噪

原始水下图像中的噪声易干扰特征点的判断,水下图像去噪是进行双目视觉特征点解析的前提条件。

2.1 水下双目相机标定

对2台水下CCD相机进行双目标定, 用以获取成像的坐标系和世界坐标系之间的关系。采用7×10(6 cm×6 cm)的标定板, 在水下从不同的角度拍摄标定板, 获得25~30对标定板的图像。接着将图像导入到MATLAB R2018a自带的Stereo Camera Calibrator工具箱中, 如图3所示。水下标定过程会直接获得双目相机的内外参数, 其中内参数包括每个相机内部参数、径向畸变系数和切向畸变系数, 外参数包括形容2个相机之间关系的旋转矩阵和平移向量。

图3 水下标定过程

双目标定的结果显示, 从左到右摄像机坐标系之间的旋转矩阵

从左到右摄像机坐标系之间的平移矩阵

由于在实际试验中2台相机的放置不会达到绝对的水平, 不利于建立在理想模型上的双目视觉位置解算。因此采用Bouguet算法[12]对水下图像进行立体校正, 以此来建立理想双目系统。同时, 利用相机的内部参数对相机的径向畸变和切向畸变进行修正, 而外参数则将对最终的AUV与对接坞位置结算过程起到关键影响。立体校正后的效果图如图4所示。

图4 立体校正后效果图

2.2 改进的均值滤波算法

传统的均值滤波算法对图像噪声有很好的抑制作用, 但是均值滤波处理后的图像变得平滑、模糊, 破坏了图像边缘的特征细节, 而在水下光源的提取过程中, 需要将导引光源区域和背景区域完全区分开, 因此在初始图像的去噪部分需要对传统的均值滤波算法加以改进。

改进的均值滤波算法是在传统均值滤波基础上加入Laplace算子以寻找图像边缘像素点的坐标, 在该像素点灰度值中使用迭代法选取一个自适应阈值。Laplace算子的定义为

3 图像二值化

去噪并增强后的水下灰度图像将用于接下来的图像二值化。图像二值化的方法可以分为全局性质二值化和局部性质二值化。由于水下对接的特殊需求, AUV只需区分光源与背景2种区域, 全局与局部性质的二值化会将部分较高亮度的背景提取出来。因此, 在二值化图像阈值选取方面, 以连通域数量为判定条件, 基于二分法自适应选取阈值, 提取光源图像。

3.1 8-领域连通域判定

连通区域(connected component)一般是指图像中具有相同像素值且位置邻近的前景像素点组成的图像区域。对于二值图像, 连通域表示对图像中所有的白色像素点进行标记, 同一种标记的白色像素即被定义为二值图像的连通域。

将含有导引光源的图像二值化后, 导引光源所在的区域会形成不同的连通域。连通域中心的区域即导引光源中心所在位置, 因此对连通域的判定是获取光源中心的重要步骤之一。常用的连通域判定有4-领域判定和8-领域判定。4-领域判定是指当前操作的图像像素点的上、下、左、右4个像素, 只要满足其中一个像素点为1(或255)即可表示为同一连通域。8-领域连通域判定是指对应像素点的上、下、左、右、左上、右上、左下和右下8个像素点, 只要满足其中一个像素点为1(或255)即可表示为同一连通域[14]。因此, 4-领域的连通域判定为8-领域连通域判定的子集。4-连通域与8-连通域的定义分别为

考虑到4个导引光源呈菱形状排列且水下环境复杂, 光源附近易产生白色噪声; 使用4-领域连通域判定方式易在光源边缘判定出新的小块连通域, 而这样的连通域并非导引光源产生, 故而引起导引光源的误判。而8-领域连通域判定可以有效避免上述情况的发生, 该判定方法将噪声产生的连通域与光源产生的连通域视作同一个连通域判定, 不会产生光源误判并在后续的腐蚀、膨胀处理阶段消除噪声产生的小块连通域。

查找方面, 8-领域连通域采用2遍扫描法(two-pass)寻找二值图像, 其核心思路是扫描2遍图像将图像中存在的所有连通域找出并标记, 第1遍扫描时赋予每个白色像素点1个标签, 同一连通域内的像素可能会存在1个或多个标签, 因此需要将同一个连通域内的不同标签进行合并; 第2遍扫描时, 将满足式(6)的像素标记并进行合并, 使其从属于同一个连通域。具体步骤如下。

3) 扫描结束, 输出连通域范围与连通域数量。

3.2 二值化图像阈值选取

4 质心检测与位置解算

二值化后的水下图像, 水下光源部分完全凸显, 需要提取光源的中心以匹配各个光源。在这一过程中, 利用质心检测算法找出二值图像光源中心坐标。

4.1 形态学处理

对二值图像进行膨胀和腐蚀操作是进行质心检测的前提条件。膨胀和腐蚀能够平滑光源边缘, 得到规则的连通域形状。膨胀运算能够去除图像中的暗噪点, 使图像中的高亮区域变大, 亮噪点增强; 腐蚀运算能去除图像中的亮噪点, 但会使图像中的高亮区变小, 暗噪点增强。因此需组合使用上述2种运算方式。

开运算能够消除图像中二值图像中较小的噪声点, 对图像的亮噪区域进行平滑的同时不改变其形状和体积, 如图5所示。

图5 形态学处理后效果图

Fig. 5 Effect picture after morphological treatment

4.2 距离加权质心检测算法

传统的质心检测算法是统计同一连通域内所有横坐标与纵坐标之和, 将统计所得结果除以该连通域内所有的像素数量, 即求取同一连通域内的平均横坐标与平均纵坐标。因此可定义为

对于水下的光源灰度图像, 光源中心亮度最高, 距离中心越远, 亮度越低, 因此距离光源中心越远的像素对质心判断的影响越小。传统质心检测算法将光源所在范围全部无差别纳入质心检测过程中, 忽略了远离光源的像素对质心检测的影响。因此文中以满足条件的像素点与质心之间距离的倒数作为加权函数[15], 用以减弱远离光源的噪声, 减少光晕部分的噪声对质心检测的干扰, 提高质心检测的精度。具体做法是将传统质心检测结果作为初始质心坐标, 代入加权函数

4.3 光源匹配

由于对接坞一般设置在深海或者水下3 m以上的浅水中, 所以对接过程中, AUV不存在其他光源或水面光斑的干扰, 因此质心检测环节计算出的质心便是对接坞光源所在的位置。实验中对接坞的4个导引光源为菱形分布, 因此文中以质心的横纵坐标为判别依据, 将4个导引光源一一匹配, 其配对结果将用于位置解算环节。

4.4 双目视觉下AUV位置解算

理想的双目视觉模型是双目立体视觉的基础模型[16-18], 如图6所示。

图6 理想双目视觉模型

根据摄像机线性模型, 可求得空间点到像点的映射关系

由式(14)~(16)可以得出, 对于空间中同一点, 在两摄像机中成像点之间的转换关系为

综合上式, 可求出空间三维点位点坐标

将相机标定环节得到的左右摄像机内外参数和匹配环节的匹配点坐标代入式(18), 即可解算出AUV的三维位置信息。

5 试验结果与分析

图7为试验流程图。试验中以2台CCD相机为基础, 在十字架上搭建4个菱形排布的模拟光源, 作为对接过程中的导引光源。CCD相机平行于水池底面, 并令其完全静止, 保证拍摄图像不因外力而模糊变形。而导引光源预先设置在CCD相机15 m处, 试验过程中不断推进相机与导引光源的实际距离, 记录其真实距离值, 模拟AUV不断向对接坞靠近的过程。在拍摄导引光源图像之前先对相机进行双目标定, 获取每个相机的内外参数。拍摄导引光源的过程中要保证4个导引光源全部位于相机视野中, 拍摄后的原始图像直接传送到计算机中进行后续处理。由于AUV在回收对接末端阶段, 其行进速度低于1.5 kn且航向不会短时大幅变化, 所以双目相机拍摄的水下导引光源图像不会因航速、航向失真。因此,试验阶段重点验证该方案的精度与实时性。

图7 试验流程图

水下图像去噪效果如图8所示。由图可以看出, 改进后的均值去噪算法可以去除噪声图像中大部分的噪声, 同时保留并增强光源信息, 为接下来二值化阈值选取提供便利条件。

图9为二值化阈值选取效果图。原始图像的灰度最大值为219, 最小值为43, 得到初始阈值为131, 此时检测到8-领域连通域数量为154, 不满足要求, 经过二分法锁定最终阈值为193, 用时0.13 s, 连通域数量为4, 满足要求, 循环结束, 输出二值图像。图10为Hough算法检测圆心效果图, 可以看出, 该算法检测出的光源数量较多, 且用时2.7 s。通过对比可得, 使用基于二分法的光源图像提取更能满足水下对接实时性需求。

图8 水下图像去噪效果图

图9 阈值选取效果图

图10 Hough检测圆效果图

加权质心检测的效果如图11所示。从图中可以看出, 加权质心检测后的坐标点更倾向于光源的中心, 减少了光晕对光源中心判断的影响。表1为加权质心检测后光源坐标的变化。

图11 质心检测对比图

表1 加权质心检测后光源坐标变化

表2中的6组数据为实际距离和解算距离, 试验结果显示距离越远, 精度越发散, 而近距离精度较高。表3中统计了4组样本容量为50的平均用时, 其范围均未超过0.5 s, 因此满足对接精度与实时性需求。

表2 距离解算与误差

表3 用时比较

6 结论

基于MATLAB、VS2019和Opencv3.7.0 环境, 以2台分辨率为1 280×720的水密CCD相机构建一种基于双目视觉的AUV对接回收末端定位方法。水池试验证明, 文中提出的水下双目视觉定位方法, 在近距离阶段可以较为准确地解算出AUV与对接坞之间的距离, 并能保证10 m附近定位误差在±10%附近。由于回收坞喇叭口直径为1.2 m, 且10 m以外区域, AUV采用航位推算导航, 10 m以内区域, AUV采用视觉与航位推算混合导航, 其近距离阶段的视觉导引精度足以使AUV顺利进入喇叭口, 因此该方案精度满足对接需求。

在实际工程应用中, AUV对接末端速度低于1.5 kn(约0.75 m/s), 且距离回收坞越近, 速度越慢。统计10 m以内的平均用时均未超过0.5 s, 即AUV每秒接收视觉定位数据至少2次, 满足对接过程信号频率需求。而Hough边缘梯度变换处理一张图像需要2.7 s。因此, AUV对接回收的实时性得到优化提高。

采用双目视觉获取水下导引光源的图像, 对原始光源图像滤波去噪, 去噪后循环获取图像连通域与二值化的阈值、提取出光源图像并计算出光源中心坐标、匹配光源并最终结算位置信息。使用的光源检测算法与传统的Hough圆形检测算法相比, 实现简单计算量减少, 图像处理时间缩短, 有效的提高了定位过程中实时性需求。但是, 由于使用加权质心检测算法判断光源中心, 海水中的杂质或者导引光源自身的不规则光晕将使得精度发生变化, 因此, 该方案牺牲了部分双目测距精度与鲁棒性以提高AUV短距离对接过程中的实时性。但其精度满足对接需求, 且鲁棒性可通过增加导引光源数量与提高光源强度等方式提高。

[1] Liam P, Sajad S, Mae S, et al. AUV Navigation and Localization: A Review[J]. IEEE Journal of Oceanic Engineering, 2014, 39(1): 131-149.

[2] Inzartev A V, Matvienko Y V, Pavin A M, et al. Investigation of Autonomous Docking System Elements for Long Term AUV[C]//Proceedings of MTS/IEEE Oceans. Washington, USA: IEEE, 2005: 388-393.

[3] 孙叶义, 武皓微, 李晔, 等. 智能无人水下航行器水下回收对接技术综述[J]. 哈尔滨工程大学学报, 2019, 40(1): 1-11.

Sun ye-yi, Wu Hao-wei, Li Ye, et al. Review of Underwater Docking Technology for Intelligent Unmanned Underwater Vehicle[J]. Journal of Harbin Engineering University, 2019, 40(1): 1-11

[4] Yao P, Qi S B. Obstacle-avoiding Path Planning for Multiple Autonomous Underwater Vehicles with Simultaneous Arrival[J]. Science China(Technological Sciences), 2019, 62(1): 121-132.

[5] 赵霞, 袁家政, 刘宏哲. 基于视觉的目标定位技术的研究进展[J]. 计算机科学, 2016, 43(6): 10-16, 43.

Zhao Xia, Yuan Jia-zheng, Liu Hong-zhe. Advances in Vision-based Target Location Technology[J]. Computer Science, 2016, 43(6): 10-16, 43.

[6] 姜言清. AUV回收控制的关键技术研究[D]. 哈尔滨: 哈尔滨工程大学, 2016.

[7] 王晓娟. 基于视觉的AUV水下回收导引定位技术研究[D]. 哈尔滨: 哈尔滨工程大学, 2011.

[8] Li Y, Jiang Y, Cao J, et al. AUV Docking Experiments Based on Vision Positioning Using Two Cameras[J]. Ocean Engineering, 2015, 110: 163-173.

[9] 王国权, 周小红, 蔚立磊. 基于分水岭算法的图像分割方法研究[J]. 计算机仿真, 2009, 26(5): 255-258.

Wang Guo-quan, Zhou Xiao-hong, Yu Li-lei. Image Segmentation Based on Watershed Algorithm[J]. Computer Simulation, 2009, 26(5): 255-258.

[10] 周莉莉, 姜枫. 图像分割方法综述研究[J]. 计算机应用研究, 2017, 34(7): 1921-1928.

Zhou Li-li, Jiang Feng. Survey on Image Segmentation Methods[J]. Application Research of Computers, 2017, 34(7): 1921-1928.

[11] 寻言言, 薛河儒, 姜新华. 基于MATLAB的相机标定方法[J]. 内蒙古农业大学学报(自然科学版), 2014, 35(2): 164-168.

Xun Yan-yan, Xue He-ru, Jiang Xin-hua. The Camera Calibration Method Based on MATLAB[J]. Journal of Inner Mongolia Agricultural University(Natural Science Edition), 2014, 35(2): 164-168.

[12] Bouchra B, Sebastien K, Nabil E A, et al. A Flexible Technique Based on Fundamental Matrix for Camera Self-calibration with Variable Intrinsic Parameters from Two Views[J]. Journal of Visual Communication and Image Representation, 2016, 39: 40-45.

[13] Otsu N. A Threshold Selection Method from Gray-Level Histograms[J]. IEEE Transactions on Systems Man & Cybernetics, 2007, 9(1): 62-66.

[14] 马逸东, 周顺勇. 基于连通性检测的图像椒盐噪声滤波算法[J]. 液晶与显示, 2020, 35(2): 167-172.

Ma Yi-dong, Zhou Shun-yong. Salt and Pepper Noise Filtering Algorithm Based on Connectivity Detection[J]. Chinese Journal of Liquid Crystals and Displays, 2020, 35(2): 167-172.

[15] 刘子铭. 加权方向自适应全变分去噪算法[J]. 电子技术与软件工程, 2019(23): 69-70.

[16] 权稳稳. 基于视觉的水下目标识别与定位技术研究[D]. 青岛: 山东大学, 2018.

[17] 于永军, 徐锦法, 张梁, 等. 惯导/双目视觉位姿估计算法研究[J]. 仪器仪表学报, 2014, 35(10): 2170-2176.

Yu Yong-jun, Xu Jin-fa, Zhang Liang, et al. Research on SINS/Binocular Vision Integrated Position and Attitude Estimation Algorithm[J]. Chinese Journal of Scientific Instrument, 2014, 35(10): 2170-2176.

[18] Scharstein D, Szeliski R. A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms[J]. Kluwer Academic Publishers, 2002, 47: 1-3.

1. 谢景鹏, 李宗刚, 杜亚江, 等. 基于视觉信息丢失的机器鱼运动控制算法[J]. 水下无人系统学报, 2020, 28(5).

2. 陈嘉杰, 王中, 曹小娟, 等. 基于最优导引律的高空滑翔鱼雷弹道设计[J]. 水下无人系统学报, 2020, 28(3).

3. 李娟, 张建新, 杨莉娟, 等. 未知环境下UUV动态目标跟踪导引方法[J]. 水下无人系统学报, 2019, 27(3).

4. 张伟, 李子轩, 宫鹏, 等. UUV接驳单目视觉导引灯阵定位方法[J]. 水下无人系统学报, 2019, 27(3).

5. 杨惠珍, 王迪, 吕瑞. 基于导引控制一体化设计的水下拦截器迎面拦截最优制导律[J]. 水下无人系统学报, 2018, 26(3).

6. 齐贝贝, 严卫生, 高剑. 基于偶极势场的移动回收站空间回坞导引算法[J]. 水下无人系统学报, 2018, 26(3).

7. 赵旭, 陈亚林, 张奎. 基于FPGA的高精度水下对接声导引技术[J]. 水下无人系统学报, 2018, 26(1).

Method for Detecting and Ranging an Underwater Guided Light Source Based on Binocular Vision

ZHU Zhi-peng, ZHU Zhi-yu

(Jiangsu University of Science and Technology, School of Electronic Information, Zhenjiang 212000, China)

To meet the requirements of high accuracy, real-time performance, and robustness in autonomous underwater vehicle(AUV) underwater docking, this study proposes a binocular vision-based underwater guidance light source detection and ranging method. The main processes of this method includes underwater camera calibration, denoising of original images, detection of light sources, and location calculation. In the original image denoising stage, a Laplace operator is introduced to improve the mean denoising algorithm and enhance the image to highlight the light source. Then, an adaptive threshold binary image based on the dichotomy is used to effectively separate the light source from the background. Light sources on the left and right imaging planes are then detected and matched. Finally, according to the principle of binocular location, the relative position is solved by using the detected light source information. In this method, traditional mean denoising is improved for an underwater environment, and information of the guided light source is highlighted. The best image binary threshold is obtained by using the connected domain as the cyclic judgment condition, and the light source center is determined by weighted centroid detection method. The method is verified in specific experiments that meet the requirements of underwater docking accuracy. In addition, real-time performance is optimized.

autonomous undersea vehicle(AUV); binocular vision; underwater docking; image processing; location

TP242.62; P715.5

A

2096-3920(2021)01-0065-09

10.11993/j.issn.2096-3920.2021.01.010

朱志鹏, 朱志宇. 一种基于双目视觉的水下导引光源检测和测距方法[J]. 水下无人系统学报, 2021, 29(1): 65-73.

2020-06-18;

2020-07-21.

国防基础预研项目(JCKY2017414C002).

朱志鹏(1996-), 男, 在读硕士, 主要研究方向为AUV回收对接末端双目视觉定位.

(责任编辑: 许 妍)