王成军，李璐璐，朱小松

(1.安徽理工大学人工智能学院，安徽淮南 232001；2.安徽理工大学机械工程学院，安徽淮南 232001)

0 前言

冷凝器是由壳体、换热管和盖板等组成的一种换热装置，广泛应用于石化及电厂行业[1]。因冷却水中含无机盐和悬浮固体等，换热管内壁易产生污垢，降低换热效率，减少设备工作寿命[2]。

目前冷凝器清洗机器人逐步代替传统的人工清洗，机器视觉在冷凝器清洗过程中起重要作用[3]。清洗机器人通过视觉传感器拍摄冷凝器二维图像，对管口进行识别定位[4]。使用改进的Zernike矩可对管口实现高精度定位[5]，但喷枪对准管口中心无需达到亚像素级别精度，通过轮廓识别和双目立体匹配可对管口中心进行像素级精度定位[6]。为实现可视化监控冷凝器清洗需求，需对冷凝器表面进行三维重建。采用双目视觉技术，并对目标物体表面投射随机斑点，可实现弱纹理元件的三维表面重建[7]。目标物体表面三维重建后可计算物体整体表面积和体积[8-9]，满足无接触测量需求。

针对清洗冷凝器换热管束的需求，设计了冷凝器清洗双目视觉系统，通过双目标定、立体匹配、平滑并简化三维点云模型等方式实现对冷凝器管口的识别和三维重建。

1 冷凝器管口视觉识别系统方案设计

冷凝器管口视觉识别系统硬件结构如图1所示，主要由左右工业摄像机、采集卡、计算机和冷凝器组成。相机选用深圳云玥科技公司U300的CK工业相机，幅面尺寸为1.27 cm(1/2 inch)，300万像素，像素大小3.2 μm，采用配套型号GY-FV0612定焦镜头，焦距为6 mm。

冷凝器管口识别与重建过程可分为图像处理、计算管口世界坐标、管板表面三维重建3个部分，重建流程如图2所示。

具体重建过程为：

(1)图像处理部分为双目标定及立体校正，随后采集冷凝器管板图像，对图像进行灰度化和直方图均衡化处理，增强对比度，并利用OTSU算子分离管板图像与背景。

(2)计算管口世界坐标部分,首先获得各个管口中心像素坐标，计算视差图，根据双目立体视觉原理将像素坐标转换为三维世界坐标。

(3)管板表面重建部分是对管板点云模型进行平滑简化处理后再进行三角剖分，从而显示重建表面。

2 双目标定与立体校正及图像预处理

2.1 双目标定

摄像机标定是求解摄像机成像几何模型，计算目标点空间位置与图像中对应点之间的相互关系，文中通过张正友标定法[10]，利用针孔成像模型可得到图像像素坐标系和世界坐标系之间转换关系，其投影原理如图3所示。

图3中，(OW,XW,YW,ZW)为世界坐标系，(OC,XC,YC,ZC)为相机坐标系，(O,X,Y)为图像坐标系，(u,v)为像素坐标系。图像像素坐标系与世界坐标系之间的关系为

(1)

式中：f为摄像机焦距；dx、dy为像元尺寸；u0、v0为图像中心；fx、fy分别为u、v轴上的归一化焦距。

2.2 双目立体视觉三维重建原理

双目立体视觉三维重建原理为左右两摄像机同时对目标物体拍摄图像获取其深度信息，进而重建其三维模型[11]，理想的光轴平行双目视觉模型如图4所示。

设目标管口中心坐标为P(xW,yW,zW)，其在左右摄像机坐标系下坐标为pl(x1,y1,z1)和pr(x2,y2,z2)，在左右摄像机像平面上坐标为Pl(ul,vl)和Pr(ur,vr)。立体校正后，点P投影点在两摄像机像平面上的行坐标相同，则有：vl=vr。基线b=x1-x2，以左摄像机坐标系为参考世界坐标系，由相似三角形原理可得：

(2)

左右图像上点的列坐标之差，为对应点视差值D=ul-ur，故点P的三维坐标为

(3)

2.3 立体校正与图像预处理

由于搭建视觉平台过程中会产生误差，故使用极线约束[12]对图像进行立体校正，使左右图像中匹配点位于同一条极线，减小立体匹配搜索范围，立体校正前后图像对比如图5所示。

立体校正后，对图像进行灰度化和直方图均衡化处理，增强图像对比度。利用OTSU算法进行图像分割，获取各管口轮廓，对其进行编号并求得各管口对应的像素坐标，处理结果如图6所示。

3 基于全多重网格算法的立体匹配

提出一种利用全多重网格算法进行立体匹配的方法，建立关于视差的能量函数，并对其进行优化得到像素间视差值。该方法能够有效减小像素灰度值的影响，鲁棒性较强，所获视差图平滑连续。

(1)能量函数的构造

以下列条件为前提，构造该能量函数：

①对应点灰度值的差为

f(x,y)=I2[x+u(x,y),y]-I1(x,y)

式中：I1(x,y)、I2(x,y)分别是左、右图像坐标(x,y)处的灰度值，u(x,y)为点(x,y)处的视差值；

②对应点灰度梯度的差为

g(x,y)=∇I2[x+u(x,y),y]-∇I1(x,y)

式中：∇I1(x,y)、∇I2(x,y)分别是左、右图像坐标(x,y)处的灰度值梯度；

④假设视场差平滑；

⑤在平滑项中应用全变分。

能量函数为

(4)

式中：λ1、λ2为影响梯度的权重系数；λ3为平滑项权重。

(2)能量函数的优化

采用全多重网格算法对视差能量函数实现迭代优化，该算法包括细网格松弛、粗网格校正和反复迭代。细网格过滤高频成分，粗网格消除低频成分，反复迭代通过限定算子和延拓算子连接各层网格，将能量函数解的残差限制到粗层网格，再将解延拓到细层网格[13]。文中选用的全多重网格算法迭代路径如图7所示。

图7为一个完整的全多重网格算法迭代路径，在每个分辨率级别使用2个w校正周期，i表示从一个网格到下一个网格上解的插值[14]。文中方法与传统区域立体匹配处理后所获得的视差图对比效果如图8所示。

由图8可知：相比于传统区域立体匹配方法，文中方法所获视差图更加稠密、平滑且连续。

4 冷凝器管口定位与管板重建实验

4.1 冷凝器管口三维空间定位实验

在实验室环境下开展冷凝器管口定位实验，将图像上像素点p(u,v)还原为该点的世界坐标P(xW,yW,zW)。记索引号13的点为点P1，索引号29的点为点P2，得到点P1、P2的摄像机坐标、世界坐标的计算结果如图9所示。其余管口中心坐标求解方式与上述方法一致，部分管口的世界坐标如表1所示。

表1 部分管口的世界坐标

为验证该视觉系统定位精度，对实验结果进一步处理，得到各管口距冷凝器中心的距离误差曲线如图10所示。

由图10可知:误差主要集中在-1.2～1.5 mm内，最大误差为1.99 mm，平均误差为0.53 mm，满足该视觉系统定位要求。

4.2 冷凝器管板表面重建实验

因设备或环境干扰，冷凝器管板点云模型中会掺杂噪声，故运用移动最小二乘法对管板点云信息模型进行平滑处理，其关键是确定拟合函数和具有紧支性的权函数[15]。

(1)确定拟合函数

在局部拟合区域上，拟合函数f(x)表示为

(5)

式中：α(x)=[α1(x),α2(x),…,αm(x)]T为待求系数;p(x)=[p1(x),p2(x),…,pm(x)]T为基函数，其为k阶完备的多项式;m为基函数的项数。

(2)确定具有紧支性的权函数

紧支性是指点x取值只与其附近子域内节点有关，文中选用具紧支性的立方样条函数为权函数，其表示为

(6)

点云模型平滑前后的效果对比如图11所示，可知:经过上述处理后，点云图边缘明显光滑。

对上述平滑后的点云图进行采样简化，简化后的点云图如图12所示。

由图12可知：简化处理后的点云分布稀疏且较为均匀，可大幅降低后续计算量。

使用贪婪三角投影算法对简化后的点云进行三角剖分[16]，实现对冷凝器盖板表面三维重建。文中立体匹配方法和传统区域立体匹配方法得到的表面重建效果如图13所示。可知：相较于传统区域立体匹配后重建效果，文中算法所获得的管板三维表面较为完整，管板各个特征明显，整体表面重建效果良好。

5 结论

为解决冷凝器清洗机器人识别管口问题，文中研究了基于双目视觉的冷凝器管口识别与重建方法。研究成果包括：

(1)提出了基于全多重网格算法的立体匹配方法，所获视差图平滑连续，有效提高了立体匹配准确率。

(2)实验表明：冷凝器管口识别与重建视觉系统定位平均误差为0.53 mm，实现了冷凝器管口中心三维坐标的有效定位，且冷凝器管板表面重建效果良好，满足可视化需求，为堵塞管束识别以及清洗路径规划提供了依据，可为冷凝器清洗机器人视觉系统开发与设计提供参考。