高修强 张文国 吴卫

（中国电建集团华东勘测设计研究院有限公司 浙江省杭州市 311100）

随着城市经济的发展，轨道交通的建设进入高峰时期，越来越多的地铁隧道进入运营养护阶段，传统的维保手段通常是通过人工调查记录，效率低下且不能直观了解到隧道病害具体发生位置及隧道全貌，对于庞大的日常维护监测记录管理也是比较麻烦的。因此，本文引入目标检测算法和层次结构模型技术应用于地铁隧道的安全监测，并为隧道建立全生命周期的无纸化数字化档案，从而减轻运维工作量。

在建立数字化档案中，其中一项重要工作是将拍摄到全景影像图中的每一环管片进行准确编号并对其所处的里程进行计算，而进行编号和计算里程的前提是将整个影像图中的每一环管片划分为一个单元，因每环管片之间有明显的纵向环缝，如能准确识别出纵向环缝并快速可视化的展示出来，将能有效解决管片编号和所处里程的问题。

通过调查研究，以往环缝标记工作主要使用人工标记和图像灰度处理技术[1,2]。人工标记工作量大，无法应用到大规模场景，灰度处理技术，只能应用到对比度较高的图像，泛化能力较差，无法适用到大规模隧道养护场景。为解决实际隧道养护业务，本文所研究的基于深度学习的目标检测算法实现了隧道环缝快速高效的检测，并结合层次结构模型技术，让整个隧道图像展示在Web 端，让应用人员在具备网络的环境下可以实时的定位隧道病害发生的里程和管片。

1 总体研究方案

如图1 所示，本文主要研究基于深度学习算法和细节层次模型图像处理技术实现对隧道环缝的自动识别、编号、里程计算和分层渲染展示，为实现这一过程，做出如下设计：

图1： 总体架构

根据现实的应用需求，这个方案分为六个部分。隧道三维图像采集，采用隧道三维采集设备获取高分辨率的原始图像，并按固定顺序分割编号。算法训练中心，采用Pytoch 框架，用YOLO 算法进行训练获取模型。业务调度中心，将用户上传后的图像进行元数据存储及业务数据匹配计算，实现下层支撑服务的掉调用。识别算法服务，加载训练好的识别模型，完成对用户上传的图片实时识别，并将环缝信息返回。影像处理服务，实现对用户上传图像分层切割，实现图像的金子塔模型风格。数据存储，实现对业务数据和图片等二进制图像的存储。

2 环缝识别

本文主要采用深度学习技术，实现对隧道环缝的自动识别并将结果以json 字符串的形式输出，方便后期的数据对接处理。

2.1 目标检测算法

目标检测算法核心在于解决图像分类和目标定位，本文研究所使用的检测算法是YOLOv3 模型，YOLOv3模型与其他计算机视觉领域的模型一样，充分利用卷积神经网络（CNN）的研究成果，并对 R-CNN 家族算法做了架构上的优化统一。使用创新性的检测思路，将目标检测作为回归任务来解决，实现端对端的检测，让检测性能得到了显著提高。本文研究中所使用的YOLO算法，同其它目标检测算法相比有更快的识别速度，除此之外本文研究的对象是隧道中的环缝，感受视野小，且环缝直接的间隔较为清晰，选用YOLOv3 算法更为适合[3-5]。

YOLO v3 是一个使用创新的使用全卷积网络Darknet-53。包含53 个卷积层，没有池化层，使用步幅为2 的卷积层替代池化层进行特征图的降采样过程，这样可以有效阻止由于池化层导致的低层级特征的损失。具体网络结构如图2。

图2： yolo 网络架构

2.2 实验方法

2.2.1 图像准备

本次实验一共采集不同光暗环境下的250 张图片，每张图片平均有7 条环缝。120 张训练，80 张验证，50张测试，做采集的数据来源于杭州地铁公司通过 拍摄的黑白照片。为了保证数据的多样性让训练出来数据更具有泛化能力，所采用的图片采用不同光线质量条件的图片。如表1 所示。

表1： 数据集

在上述网络中，使用同残差网络混合的方式，连续使用3×3 和 1×1 的卷积层，并在中间捷径连接。网络采用256×256×3 作为输入，最左侧那一列的1、2、8 等数字表示多少个重复的残差组件。每个残差组件有两个卷积层和一个快捷链路。

在YOLOv3 中还有一个特殊的之处在于使用了3个不同尺度特征图对检测目进行检测，分别为大目标、中等目标、小目标检测。

2.2.2 训练环境

本文采用 Ubuntu 64 位操作系统，处理器为英特尔Core i9-10900X，内存64GB，显卡为NVIDIAGeForce RTX3070，使用的训练框架为 Pythoch。

2.2.3 训练过程

（1）图像标注。Labelimage 数据标注软件对原来的数据进行标注。

（2）图像批处理。通常会对图像做一些随机的变化，产生相似但又不完全相同的样本。主要作用是扩大训练数据集，抑制过拟合，提升模型的泛化能力，随机改变亮暗、对比度和颜色等。

（3）训练。因为本文所研究的对象为环缝，目标单一，特征清晰，因而选用宽长为 (10,13)的矩形框为先验框。提前在图像上使得模型学习起来更加容易。确定尺寸的长宽比可以得到更大的交并比，就有更高的概率出现对于目标物体有良好匹配度的先验框，即为我们定好了常见目标的宽和高，在进行预测的时候，我们可以利用这个已经定好的宽和高的先验框，帮助我们进行预测。

训练YOLO v3分别进行训练，训练批次为 15000轮。采用随机梯度下降算法对网络模型参数进行更新直至收敛。为了加快网络模型的收敛速度，将权值的初始学习率设置为 0.005，在10000 和 13000 轮后学习衰减系数分别设置为0.1，即学习率会在前一个学习率的基础上衰减十倍。

2.3 实验结果分析

如表2 所示，因为本文所研究的内容主要是针对环缝做识别，目标单一，可看作是一个二分类预测。为了更好量化预测结果，本文对准确率（precision）和回归率（Recall）做计算，采用F1-Score 方式作为衡量指标。在这一过程中涉及到对以下数据的统计：

表2： 混淆矩阵

（1）真阳性(True Positive, TP)，表示样本中环缝存在，并且模型预测的结果也是环缝，预测正确；

（2）真阴性(True Negative, TN)，表示样本中不存在环缝，并且模型将其预测成非环缝，预测正确；

（3）假阳性(False Positive, FP)，表示样本中不存在环缝，但是模型将其预测成环缝，预测错误；

（4）假阴性(False Negative, FN)：表示样本中存在环缝，但是模型将其预测成非环缝，预测错误。

因本文所研究的目标检测算法，在判断时，如何判定单个目标预测的是否有效的过程中用到预测框和标记框的交并比（IOU），即衡量2 个预测的重叠程度，重叠成都越好，代表预测的效果越好，当交并比大于0.7判定有效预测。具体公式如下：

其中：

Bgt——目标实际的边框；

Bp——预测的边框；

IOU——预测框和标记框的交并比。

从环缝预测结果角度出发的准确率(Precision)，即计算出在本模型下预测出来的环缝结果中有多少是真实环缝，即该模型对环缝的预测有多少是准确的，计算表达式如下：

从真实结果角度出发，回归率(Recall)描述了测试集中的真实环缝有多少模型挑选了出来，即真实环缝的模型召回数量。

F1 分数(F1-score)是分类问题的一个衡量指标。它是准率和召回率的调和平均数，最大为1，最小为0。1是最好，0 是最差。

采用 F1-score 指标坐标作为本模型的评价指标，是因为其同时控制准确率和和回归率，避免单一模型评价的单一性，最终达到模型识别高而全，且错误率低。如表3 所示。

表3： 试验结果

通过以上实验，得出使用该模型识别环缝技术，得到的效果较好。平均准确率可以达到98%以上，平均回归率可以达到96%以上、整体评价指标F1 分数在97%以上，已经到达工业现场应用的要求。

3 细节层级结构模型

在整个研究的过程中，除环缝识别工作之外，为保证可视化层面可以高效的渲染整条隧道的图片。进一步对图像的加载进行研究，本研究采用细节层次化结构模型技术作为研究目标，将整条隧道采集的原始图，按序组合排列整合为完整一张大图。按照细节层级模型技术进行切分，适配在不同视野下看的不同尺度的图片。保证单次请求和渲染的数据量稳定在一个合适的区间内，保证可视化时加载高效流畅。

3.1 算法原理

LOD(Level of Detail)细节层次模型技术指用若干不同复杂度的模型来表示同一对象的技术。此技术主要根据视点距离对象位置的变化调用不同复杂度的模型，即在大视野时调用低复杂度模型，在小视野时调用高复杂度模型。细节层次模型就是为简化场景中可见几何体的多边形细节而提出的一类加速算法。按照视觉重要性原则，距离视点越远的几何体在显示屏幕上投影面积越小，对视觉感官的贡献越少，因此一个自然的加速绘制方法是对近处几何体充分绘制详细的几何细节，而对远处的几何体则大幅度地进行简化，绘制较为粗糙的几何细节，即为层次细节技术的出发点。细节层次技术的主要难点在于如何快速构建并选择几何体的多次细节层次模型，以及不同层次细节之间的自然过渡[6,7]。

如表4 所示，基于四叉树的LOD 算法是目前最为广泛有效的算法，能够适用于大多数模型的表达。通过将原始数据按2n行分级处理，在每个不同层级时使用特定层级的数据模型，以此达到大规模数据模型的空间可视化目的。比如，从第0 级开始每一级具有的网格数量：

表4： 四叉树计算方式

3.2 影像处理

在LOD 算法思想的基础上，对隧道原始影像数据进行预处理，生成能够供前端渲染调度使用的瓦片图像数据模型。

3.2.1 图像拼接与均分

由于原始的隧道扫描图像不是一张图像，而是由多段区间的图像集合组成的。为了不丢失数据的完整性，需要先将所有图像通过图像文件名称自带的里程信息有序拼接起来。对于缺失的里程影像需要使用空白图片进行填充，保证数据的连续性。对于完整的一张大图，尽量均分成若干张宽高一致的图像，接下来对每一张均分后的图像执行后续操作。

3.2.2 图像降采样

在图像拼接和均分的操作基础上，执行图像的降采样操作是为了满足四叉树结构，将同一图像按照自定义的比率进行缩放，降低图像的分辨率。因此，在低层级时，使用降采样的低分辨率图像；在高层级时，使用高分辨率的图像。原始图像的分辨率是最高分辨率。

3.2.3 图像切分

图像降采样会生成多个分辨率的图像，对所有分辨率的图像执行图像切分成若干张小图像。切分的原则以最低分辨率图像的长宽为基准，每一级分辨率的图像进行切分，生成大量宽高一致的小图片。

3.2.4 分级存储

在以上操作完成后，需要将生成的小图片按层级划分、按行列号命名存储，有序地存储在服务器中。根据分辨率确定层级，根据长宽方向切分时的先后顺序确定行列号大小。

3.3 隧道影像可视化

在前端调用渲染过程中，需要先计算当前视角内的四叉树结构，根据四叉树结构的坐标生成对应的切片地址。首先需要定义一个原点(0,0)，可以使用左上角作为原点，还需要瓦片的宽度 tileWidth，瓦片的宽度tileHeight，当前层级Level，屏幕中心所处的位置(x,y)，四叉树的行列号计算公式如下：

根据Level, Row, Column 可以确定瓦片的存储路径，最终获取对应的瓦片图片展示在对应的位置。

4 隧道数字化档案系统应用

通过以上目标检测和层级结构化技术完美的解决环缝自动识别和原图分层加载，为方便用户使用，需要将分层和识别数据在可视化平台融合展示出来，并根据环缝位置和里程的对应关系完成管片编码及环缝所在里程的计算。以此数据为基础，实现隧道病害在其上的快速定位。

以环缝为参考，以管片编号为索引，可以在Web端快速的标注出隧道病害发生的位置，依托数字化技术实现隧道巡检和养护，巡检人在隧道中使用平板根据现场情况，在对应管片编号上绘制病害，上报平台。平台得到上报病害后根据严重程度派发任务给养护人员。养护人员根据平台上显示病害所在的里程和环号，快速找到病害所在位置，进行养护。

定期、定频拍摄隧道的影像，并同上期关联，形成隧道数字化档案，最终实在在一个平台上实现隧道全生命周期的管理。通过可视化对比的方式，清楚的展现出隧道中每个病害的演变过程及修复情况，从而延迟隧道的使用寿命，也为下一条隧道建设和养护提供可参考的依据。

4.1 底图和识别数据融合

本文研究中，考虑识别结果在前端展示后的交互性，图像识别数据需要满足矢量结构数据的要求。通常从识别算法处获取到识别后的坐标为当前识别图片中的环缝相对矩形框的对角坐标。通常使用(x1、y1)，(x2、y2)坐标来表示，为了方便展示会舍弃y 轴上的值，取x2-x1的中间值为x 值，这里的x 值将被转换为对应的像素点位置，最终构成一条贯穿图像的同水平方向垂直的线像素。该像素线同底层不同视野下的图片进行叠加，形成上下图层。因采用的相对位置叠加，因此环缝和底图可以分离存储，从而实现用户可以对识别有差异的线调整修改。

4.2 环缝里程计算

计算环缝所在里程核心在于计算出原图单个像素和里程的比例尺，在具备比例尺和分辨率的条件下，可以简单地计算出对应要素的实际长度和面积等标量大小。计算公式如下：

其中：

Scale——比例尺大小；

ImageWidth——隧道影响宽度；

MileageSize——总里程信息；

通过对原图按序拼接获取到所有识别出环缝在整条隧道中的绝对像素，通过绝对像素和比例尺可以计算出每个环缝位于的里程数。

4.3 效果展示对比

如图3 和图4 所示。

图3： 原图

图4： 识别结果渲染图

5 总结

本文研究了一种可以应用于隧道运维的快速识别环缝及里程计算的方法，改进传统的隧道运维手段，让每个隧道管片信息及其所在里程位置清晰的，用可视化的方式展示出来。配合自动化隧道全景图像采集设备，让运维人员不必亲自进入隧道巡查，直接从隧道档案可视化平台，实现对隧道病害的排查。通过自动识别的环缝及计算出的里程数据，让真实的隧道病害位置和可视化界面隧道全景图对应。让隧道维护人员直接到达病害位置，对其处置。增加隧道维护效率，也避免在隧道中长时间作业的危险。

除此之外，整个研究以实用为第一设计原则。采用可快速识别的YOLO 算法，每秒可处理几十张图像，让识别功能可落地应用。为保证可视化层面的渲染效率采用层次结构模型，让图像可以满足在不同视野下的加载需求，通过对不同尺度的图像加载，保证每次渲染的数据量恒定，从而保证可视化的加载效率。