刘送永，刘后广，陈 松

（中国矿业大学 机电工程学院，江苏 徐州 221116）

管道运输具有运量大、运输方便、成本低等优点，在国民经济中所占的比重越来越大[1]。管道巡检维护过程多由管道机器人完成[2-3]。视觉系统是管道巡检机器人的关键技术，它可以检测和识别管道中各种各样的目标物，并将识别结果传送给计算机终端，与发送操作指令的管道巡检机器人控制系统共同完成整个管道检查过程[4-5]。

在目标检测算法中，最经典的是Faster R-CNN[6-8]和YOLO 算法，基于深度学习的YOLO 算法与R-CNN算法相比，具有检测速度快、模型训练简单等优点[9-10]，因而更适合目标实时检测。一般的机器人视觉系统由照明、图像采集、图像预处理、图像分析处理、自动决判等部分组成[11-12]。

为了更好地解决管道内可视化问题，本文基于管道机器人搭建了视觉系统，通过对管道淤积物目标检测方法的改进，模拟管道淤积物环境，制作管道淤积物图像数据集，通过卷积神经网络对淤积物图像数据集进行训练，存储训练后的权重参数，并通过实验验证该视觉系统用于管道巡检的可行性。

1 实验平台总体组成

实验平台的总体组成包括 CMOS 工业相机、镜头、LED 灯、PLC 控制器、管道巡检机器人、管道淤积物等，如图1 所示。实验平台具有管道内淤积物的检测识别与定位测距两大功能。针对管道淤积物特殊检测实验环境，在Windows 10 操作系统下搭建环境，运用 Anaconda 3 安装深度学习框架 Tensorflow-Gpu以及计算机视觉开源数据库OpenCV 2.3，使用Python语言在Spyder 中进行集成开发。

图1 系统总体组成图

2 视觉系统架构设计

鉴于管道机器人的视觉系统本身较为复杂、集成度较高且应用环境特殊的特点，本实验平台利用模块化思想对该视觉系统进行搭建。该视觉系统主要由以下几大模块组成：图像采集模块、淤积物检测分类模块、标定参数优化设定模块、淤积物测距定位模块。具体架构如图2 所示。

（1）图像采集模块。将相机镜头安装在管道巡检机器人前端，机器人在管道行进过程中，相机会把管道内部的环境以图像的形式传输或存储到远程的计算机中。

（2）淤积物检测分类模块。对相机采集到的图像进行预处理，把每一类型的淤积物制作成标签，利用神经网络对图像进行特征提取训练。

（3）标定参数优化设定模块。在张正友标定方法的基础上，对所选的工业相机进行标定，得到选定相机的初始参数，然后利用所得参数结合传统的模拟退火算法，对所选用的相机内部及外部参数进行优化。

（4）淤积物测距定位模块。为完成单目视觉的图像定位功能，首先需要在相机成像坐标系和地球物理坐标系之间换算关系的基础上，设计出适用于管道内部的定位测距模型，再通过单目视觉定位测距算法，求解出淤积物的位置坐标及其与管道机器人之间的距离。

图2 管道巡检机器人视觉系统软件架构

3 管道淤积物检测与定位算法

3.1 YOLO 模型及预测方法

鉴于该实验平台被检测对象的特殊性，为了能够有效地将淤积物检测识别出来，本设计采用YOLO[13]算法模型，其实现原理或具体工作流程如图3 所示。首先将采集的图片进行448×448 像素预处理，然后将图片划分为S×S个网格。为了提高淤积物的实时检测效果，设计选用卷积神经网络模型，该网络模型有24个卷积层，2 个全连接层。最后，该算法输出一个S×S×3×(5+C)的张量，其中的S是被处理的网格数目，C是类别数目[14]。

图3 YOLO 算法实现原理

3.1.1 学习率更新策略

当训练网络的损失函数达到最小化时，学习率的大小可以根据权值更新进行调整。如果学习率低，则训练速度慢；但如果学习率过高，则训练结果较为发散。

鉴于该检测系统较为复杂，实时性要求较高，因此该视觉系统学习率迭代次数的衰减阶段为多项式衰减[15]机理，具体衰减过程如图 4 所示，参数设置见表 1。这样的设计能够有效防止前述网络模型在训练过程中，因学习率过低导致某个参数不是最优解。

图4 多项式衰减

表1 多项式衰减参数设置

3.1.2 改进的YOLO 损失函数

在巡检过程中，管道机器人受到视角的影响，所采集到的图像会出现淤积物重叠的现象。为了避免该现象对检测结果造成影响，需对YOLO 损失函数进行改进优化。将淤积物遮挡检测视为一种误差，在损失函数设计过程中添加方差函数，这样就能够使用维度聚类预测边界框，改善检测精度不高的问题。

分类评定函数模型和极大似然估计函数概率求解模型如式（1）和式（2）:

式中，x和y为管道淤积物图像的当前位置；θ为未知参数；l(θ)为损失函数；L(θ)为极大似然估计函数；hθ为未知参数θ对应的模型；为输入值；为输出值。损失函数越小，模型的鲁棒性越好。由于该实验平台环境的特殊性，淤积物大小没有规律性，当淤积物较小时，会导致检测边框在管道附近浮动，工业相机捕捉不到较小的淤积物。因此，本文采用对比度归一化的思想来改进YOLO 算法的损失函数。具体损失函数如式（3）所示：

式中，λcoord代表检测边框的权重值，代表第i个像素网格中含有的淤积物，代表第i个网格第j个检测边框需要预测的淤积物，w、h代表淤积物图片的宽度和高度，C为管道内淤积物种类数，S2为图片划分网格数，B为每个边界框的预测值，为概率模型。

所设计的算法模型中，含有目标帧的权值设置为5，不含目标帧的设置为0.5；针对预测框架中含有目标物的情况，无论他们属于何种类型，其权值均设置为 1。为了使损失函数的收敛速度加快，该设计采用反向思维的方式，对模型中损失函数进行求导处理，淤积物的位置测量表达式为：

淤积物检测概率计算式为：

检测边框内置信度计算式为：

本实验系统通过设计学习率多项式衰减变化策略和对检测算法损失函数的改进，旨在提高对管道淤积物的检测识别能力，避免检测不到较小淤积物的情况出现，提高特殊环境下实时检测的鲁棒性。

3.2 单目视觉定位测距模型

针对该实验平台的特殊情况，设计了一种基于几何约束的定位测距模型。由于该实验平台涉及的管道为圆柱状，里面淤积物大多滑落在管道内壁底侧，当管道机器人搭载着该视觉系统在圆柱状管道内巡检作业时，可以将他们视为在一个平行面内，因此针对该种特殊环境可以建立一套与之匹配的定位测距专用模型，具体原理如图5 所示。C点是工业相机的光学中心点，以其在管道底面T上的投影O为原点。在模型设计过程中考虑了巡检机器人所携带的相机与淤积物之间的高度偏差和倾斜角，所以该模型可以测得管道淤积物的实际位置。

图5 几何约束的定位测距原理图

由上述模型原理图可以得知CC0为该实验平台工业相机的焦距，为相机在实时检测管道淤积物时相机的成像平面，θ为管道巡检机器人在巡检过程中搭载的相机与管道底面的夹角，CO是工业相机相对于管道底面的高度h，P是管道底面上任意一点，是P通过工业相机所成像的位置点，通过计算可以求得目标点P的坐标值，随之也可以求取目标点P到工业相机光心的距离CP：

4 实验结果及分析

为了进一步检测所设计的YOLO 算法的有效性，在实验初始阶段准备淤积物样本数为800 个，实验过程中程序迭代次数为500 次。将管道淤积物随意布置在波纹管道中，打开搭建在管道机器人上的视觉系统，控制管道机器人在管道中进行模拟实验。基于改进YOLO 算法对管道淤积物检测识别、定位测距结果如图6、7 所示。

通过在YOLO 算法中加入学习率调整机制，经过新型衰减调整模型，学习率在训练过程中会不断发生变化。在相同迭代次数的前提下，不仅能够减少训练时间，也能使训练快速收敛达到理想效果。除此之外，通过对YOLO 算法中损失函数的改进，使得管道内被部分遮挡的淤积物也能被准确地识别检测出来。针对特殊环境所设计模型的定位测距结果与实际存在一定偏差，虽然该偏差在误差允许范围内，但今后还需要对模型进一步优化改进。

图6 管道淤积物识别检测结果

图7 管道淤积物定位测距结果

5 结语

管道巡检机器人视觉系统是未来管道智能化检测发展的关键技术之一，目前视觉系统已被应用在各行各业，但是如何提高视觉检测的速度、准确度仍是视觉系统的重难点之一。本次设计的视觉系统实验平台，可以使学生对管道巡检机器人视觉系统的搭建过程进行具体的学习，为今后进一步开展高精度检测识别技术研究打下基础。