薄晓宁

（太原工业学院 山西省太原市 030008）

路面裂缝病害是高速公路日常养护遇到的最常见问题之一，同时也是评估高速公路状态的核心因素之一，决定着高速公路是否需要维修。以前高速公路都是采用人工检测路面裂缝情况的方法来了解高速公路的实际情况，但这种方式已经表现出各种的弊端，如高风险性、低效率、高成本、作业难度大等。随着信息技术和图像技术的研究越来越深入，有人开始尝试将视觉学习运用于路面裂缝病害识别中[1]，同时也有很多学者着眼于研究多目标识别技术。

1 相关概述

人们通过视觉感知环境，机器视觉是使用计算机模拟人的感知过程，从客观环境中提取图像信息，机器凭借电子化感知、理解图像并进行分析，后可以用于测量、检测和控制等。随着国民经济快速发展，交通量迅猛增长，且越来越多的大型车辆出现可能还伴随有超载的情况，这都会对路面造成相当程度的破坏，路面裂缝病害是世界各国路面使用中最常见的问题之一，在公路日常养护中，及早地发现并处理路面裂缝病害有着很大意义。

近年来，目标识别与检测已经成为了图像处理技术的研究热点之一[2]，尤其是低信噪比、环境复杂下的多目标检测，多目标检测技术的研究和应用影响着很多的行业和领域，对多目标识别技术的研究有着重大意义。对于小且多的目标检测的难点在于：目标小且容易受到周围环境的干扰，仅靠单帧图像根本无法获得图像的有效信息，必须对多帧的图像序列进行综合分析；对于连续帧图像的处理极大考验着系统的实时性和计算能力。

基于机器视觉的目标识别技术是建立在数字图像识别和理解的基础上，利用计算机对获取的图像信息进行感知、分析以及理解。以往的图像识别技术的步骤有：获取目标图像、对样本图像预处理、提取特征图、对图像分类判别等。近几年，随着对深度学习的深入研究，机器可以在一定数量的样本集下进行一段时间的学习和训练，可以自己归纳特征，有着较高的效率和准确度。

基于机器视觉的目标跟踪主要包含两部分[3]：

（1）识别动态目标：采集一段视频，获得一个图像序列，对得到的连续帧中的目标进行计算和检测，先提取目标图像特征，在对其标注标签，识别目标完成；

（2）目标追踪：获得目标的位置、路径、方向、位移量等基本数据信息，机器经过复杂的计算和分析，理解目标后对目标进行跟踪。

基于机器视觉的路面裂缝病害多目标识别技术，是建立在机器视觉和图像处理基础之上，首计算机先从客观环境中获取路面图像并对原始图像信息感知并分析，这个过程中涉及的运算有图像灰度化、图像增强处理和二值化、去除干扰等，从而获得到一种预处理的图像；其次，对预处理图像上裂缝进行分析并计算其裂缝形态特征值，同时去除伪裂缝；最后通过系列的运算得出路面裂缝的相关结果并形成记录。

2 路面裂缝病害与识别方法

2.1 路面裂缝图像预处理

从图像形态角度检测路面裂缝病害的最常见方法是线状目标检测，由于一些路面裂缝小且弱，加上周围环境或是拍摄天气的影响，图像的识别度不够精准，因此要对图像进行预处理[4]。

（1）预处理第一步就是图像灰度化，将采集到的路面裂缝彩色图像去除彩色信息，仅保留灰度图像。

（2）图像滤波。路面裂缝图像在采集过程中，会受到周围复杂环境影响，如噪声等，噪音会干扰图像信息识别，会影响到后续裂缝检测结果。因此，预处理的第二步是在第一步的基础上获取灰度图像滤波，使得图像可以去除噪音等干扰信息同时最大程度保留图像的路面裂缝关键信息。

（3）图像增强。考虑到采集的路面裂缝图像会受各种因素影响，如有些采集地点光线很暗，对此要使用一定图像算法增强路面裂缝图像，增大裂缝与其他部分图像的差异。

（4）图像二值化。选择适合的灰度阈值，以阈值为分界点，比阈值小的是目标，标记为1，比阈值大的是非目标部分，标记为0，由此灰度图被分割成目标和非目标两部分。

2.2 路面裂缝图像检测

二值化后获得的图像中包含大量的伪裂缝，需要采取一定措施去除这部分伪裂缝。裂缝部分相较于伪裂缝部分，有着较大的噪音部分面积，同时裂缝长宽比值也较大，由此可以筛选出伪裂缝并将其去除，最终获得裂缝的相关信息。在实际的图像检测过程中，图像边缘是常用的图像特征之一[5]，因携带大部分关键有效信息，经常以此作为核心特征条件。

边缘检测的主要内容：首先，借助常用的边缘算子，提取边缘点集，分析灰度变化。其次，对边缘点集进行填补或是剔除某些边界点，并将边缘点连线。经常用到的检测算子有canny 算子、微分算子等，在Manab 中，edge 函数使用了这些算子对灰度图像边缘进行检测。

2.3 路面裂缝图像识别

对于得到的裂缝图像，利用图像形态技术，对图像进行一系列计算，最终可得到裂缝长和宽的值、裂缝面积、裂缝形状、裂缝朝向等信息。并将路面裂缝的详细信息记录到数据库中，以便之后使用。其中，图像识别的方法多种，常用的有决策理论法、神经网络方法、几何变换法、结构方法以及模板匹配法，每一种图像识别的方式都有相应的适用场景，也在某些场景下存在一定的不足。因此，在实际应用中，要结合实际情况，综合分析选择最佳的图像识别方法。

2.4 特征提取

2.4.1 裂缝“病害”面积计算

路面裂缝图像面积的计算本质上是计算某一区域包含的像素数，且图像已经进行二值化处理，此时只需要计算图像中灰度值为0 的像素个数占像素总数的比例，从而得出裂缝面积。定义A 是目标物的像素个数，也即二值化裂缝图像中裂缝面积，设f(x,y)大小是M*N，目标物f(x,y)=1，背景是0，此时路面裂缝目标面积为：

最后路面裂缝病害的像素个数占像素总个数的比例是：

通过μ 的值，最终可计算出路面裂缝的实际面积。

2.4.2 裂缝“病害”长度计算

由于路面裂缝病害表现非常复杂，其长度计算不是一件易事，因此对多幅处理后的图像进行分析和研究，发现找到裂缝病害的“骨架”部分，可以统计像素个数，在结合图像的长或是宽的像素个数，可计算出“骨架”的长度。

2.5 灰度图像形态学

运用imdilate 函数实现图像膨胀、imerode 函数进行图像腐蚀。其中先完成腐蚀后进行膨胀的过程称为开运算，先完成腐蚀后进行膨胀的过程称为闭运算。开运算用来消除小物体，可以在不明显改变面积的情况下分离物体和较大平滑物体的边界；闭运算是用来和邻近物体连接、填充小空洞，在不明显改变面积的情况下平滑其边界。对于存在很多小的噪声的图像要连续经过多次的开和闭运算才可以有较好的效果。

3 多语义机器视觉识别

3.1 基于Mask R-CNN的识别模型框架

对目标的检测与定位有较好识别精度的一种识别模型是卷积神经网络（CNN），用该模型开展路面裂缝病害识别有着较高的识别率和准确度。路面裂缝病害的特点是有较大的长宽比，同时与背景相比其像素面积较小[6]，因此，要在卷积神经网络加入浅层网络和深层网络的数据信息，用来提取路面裂缝病害几何特征、分类语义，提取各层维度的路面裂缝特征，构建多尺度特征图，如图1所示。

图1：特征金字塔网络模型

利用多层次多维度特征融合，每层特征是独立预测，深层特征将底层特征和上采样相融合，最后将主干网络的特征图输出，其中主干网络用于提取图像特征。增加网络宽度或深度几乎不影响网络性能，因此可以在原来网络上增加卷积层，也不会影响特征图信息，如大小、尺寸等，如表1所示，特征图尺寸和大小一致时，不需要再进行降采样和升采样处理。

表1：性能评价指标

3.2 识别模型训练

通过大量数据集对识别模型进行训练，以增强模型泛化能力，同时将明显路面裂缝图像加入到数据集中对识别模型进行训练，利于提高识别模型对于路面裂缝识别的精确度、准确度，降低误识别。

3.3 路面裂缝病害训练数据标注与参数学习

尽可能多的收集各种分辨率的路面裂缝图像用于训练和测试识别模型，其中将路面裂缝病害图像分为训练集和测试集，且训练集的比例要远远大于测试集，如：病害图像训练集和测试集的比例为9:1。在训练模型的过程中，可以对图像进行对比度、翻转、调整亮度和对称将训练集倍数增加，这样识别模型可实现更好的鲁棒性以及有着更好的泛化能力。

识别模型性能用PIXAP、PIXREC、PIXACC以及IOU进行评估，并使用AP50和AP75评价指标进行性能评估。经过上述过程训练出的识别模型具有良好的泛化性能，可以较精确地识别路面裂缝病害。即使随着层数增加，图像特征变得更抽象、轮廓信息明显缺失，然而，高层特征图通过叠加底层特征图，完好地保留了路面裂缝图像的几何特征，有效提升了识别模型对于不同尺寸路面裂缝的识别能力。

4 多目标识别

4.1 多目标识别框架

基于机器视觉的路面裂缝图像多目标识别就是将路面裂缝图像信息作为输入，在对输入的图像信息进行处理，机器视觉主要理解和感知图像信息，感知到的结果作为下一步动作的输入，而多目标识别包括了分割目标、目标检测和目标识别等几部分[7]，其中主要利用了图像处理和模式识别技术。

多目标识别的分类识别过程如下：

（1）采集一段路面裂缝的视频，得到一个图像序列，提取图像序列的每一帧图像

（2）对连续两帧图像做差值计算，初步获得多目标位置区域，其中过滤干扰信息，获得精确的多个目标区域。

（3）使用Gabor 滤波器，其中尺度设为5、方向参数设为8，将图像样本划分成均匀方块，提取目标图像的Gabor 特征。

（4）对所有样本特征进行训练，将得到的样本图像特征作为Fisher 分类器的输入信息，最终得到分类识别结果。

对图像分割需要借助图像分割算法，该算法主要是将目标与图像背景区别开来完成目标提取，其中分割结果的精准与否会影响后续目标识别、目标定位以及目标提取的准确度，这要求在实际的工作场景中，要根据具体情况，选择最佳的图像分割算法。

4.2 Gabor特征的提取

特征提取是机器视觉识别目标图像的重要中间环节，对目标识别的精度和准确度有着至关重要的影响，从大量复杂的无序的信息数据中提取到核心关键的图像特征，对路面裂缝目标图像起着决定性作用。对于路面裂缝病害图像，不同的分类方法，会得到多种图像特征类型，按照区域大小分为局部特征和全部特征两种[8]；按照特征分为纹理特征、轮廓特征、线条特征以及矩特征等。

对于对目标图像的检测方法有密集选取、稀疏选取和其他选取三种，从以往的研究成果看，这三种方法都适用于部分场景，在一些场景下会存在一定的不足，主要原因就是比较依赖图像目标背景，因此，很多的实际情况中会采用多种描述子相结合进行机器视觉的路面裂缝病害图像多目标的识别。Gabor 变换在时域和空域都是变换的，有良好的局部性。2D Gabor 滤波器和动物视网膜接受模型吻合，可以同时接受频率、时间的最小不确定性。

4.3 Fisher判别准则

对路面裂缝病害图像中特征进行提取并进行定量化分析后，将对目标图像进行提取并对提取的目标图像要进行一定的定量分析。对图像的判别分析的本质是对集合空间做划分，因此，对路面裂缝病害图像的判别分析可以转化成在一个投影上对原集合的划分。Fisher 线性判别将训练集在某一方向投影，得到不同类别的最小类内和最大类间散布矩阵，然后根据这种新投影特征，可识别数据并将其分类。

Fisher 判别法的结果如何关键点在于选取训练集的精准度和图像信息在降维过程中特征信息的损失比例。Fisher 判别分析方法的核心是将高维不好处理的问题通过降低维度进行处理，从而达到对多维多层次向量在低维度空间进行判别分析的目的。

5 总结

目前机器视觉已经初步应用于路面裂缝病害的识别中，研究机器视觉路面裂缝病害多目标识别技术以及图像预处理过程，对判别和特征提取算法的优化，都具有非常大的意义，可以提高路面裂缝病害识别的效率和准确度，极大方便了公路养护工作。本文研究了多语义机器视觉识别和多目标识别技术，希望对机器视觉路面裂缝病害多目标识别技术的研究提供一定的参考，以期未来实现路面裂缝识别的智能化，提高路面裂缝病害识别效率和准确率。