韩海航,张 丽,吴皓天,陈海珠,胡 迪

(1.浙江省交通运输科学研究院,浙江 杭州 311305；2.浙江网新数字技术有限公司,浙江 杭州 310030)

引言

裂缝作为沥青路面主要病害之一,自动化采集路面裂缝图像已成为当前路况调查普遍方式,但由于裂缝类型较多,图像类型纷繁复杂,数据质量干扰因素大,一直难以采用机器自动识别的方法处理。近年来,诸多研究人员尝试采用人工智能方法进行路面裂缝自动识别。谭晓晶对采集到的裂缝图像进行像素标定、灰度转换、去噪、阈值分割、中值滤波等步骤,再提取裂缝的图像特征信息,计算裂缝的宽度和长度,最后采用试验方法验证该方法的识别精度。试验结果表明,该方法能准确有效地检测出裂缝[1]。卢印举提出一个利用全局K-Means 和高斯混合模型来对路面裂缝图像进行分割的方法。通过仿真图像和实际裂缝图像实验结果显示,该方法比使用传统KMeans 算法和普通GMM 的分割方法精度更高、稳定性更好[2]。雷宏卫将加噪灰度网状裂缝图像经小波软阈值去噪增强后,使用Ostu 算法将图像二值化,得到的网状裂缝清晰地目标图像[3]。王永会针对从复杂的道路背景中难以有效识别路面裂缝的问题,提出了一种基于分数阶傅里叶变换和频谱增强处理的路面裂缝图像识别方法。与小波变换(WT)检测算法相比,分数阶傅里叶变换检测图像在准确率和召回率上分别提高了14.35%和17.1%[4]。胡敏为了有效提高生成式网络下路面裂缝检测精度,针对路面裂缝图像的复杂多样性,提出一种基于分水岭算法的路面裂缝图像检测识别方法。结果表明：路面裂缝图像检测识别方法检测时间较短、检测准确率较高、误报率较低[5]。魏海斌基于为了Matlab 软件平台提出了沥青路面裂缝宽度检测方法。结果表明,当裂缝宽度在5 mm 以上时,误差小于5%；裂缝宽度为2～5 mm 时,误差小于10%[6]。综上所述,沥青路面裂缝图像自动识别的算法研究较多,但对于沥青路面图像病害样本图像数据处理机制的应用研究较少,本文从裂缝的判别规则,样本集准备,图像预处理分别展开论述。

1 沥青道路裂缝病害判断规则制定

因沥青裂缝病害的识别建立在深度的业务学习的基础上,必须要保证提供给算法训练是正确的标注数据,所以,在标注开始前研究团队深入业务知识依据《公路技术状况评定标准》JTG5210-2018 制定了常见路面裂缝病害的识别方法和判断规则,同时也在后续的标注过程中不断完善规则文档(如表1)。

表1 常见的路面裂缝类型

表2 干扰物特征

在区别明显裂缝病害特征之外,因为在道路复杂运营环境下往往还有其他干扰物也需要标注,以便算法训练时排除干扰,其特征如表2。

2 各类型裂缝的判断规则

2.1 横向裂缝的判断规则

横向裂缝作为路面裂缝的典型存在形式,其整体裂缝走势垂直于行车方向,且<45°,形状不规则,长度不等,常见沥青路面横向裂缝如图1 所示：

图1 典型横向裂缝特征图像

2.2 纵向裂缝的判断规则

沥青路面的纵向裂缝大部分都是走向不规则,长度不等(如图2)。

图2 典型纵向裂缝特征图像

图3 典型块状裂缝特征图像

2.3 块状裂缝的判断规则

块状裂缝的基本判断规则为曲折的裂开,将路面分割成块状或者块状趋势的纵横交错的裂缝。如图3。

2.4 龟裂的判断规则

龟裂的基本判断规则为相互贯通,网状的裂缝。如图4。

3 病害样本训练集准备

图4 典型龟裂特征图像

图5 图像标注小工具

通过图像分类标注工具完成标注工作,主要包含以下几点功能：(1)通过读取原始图片保存路径生成图片标注队列；(2)根据标注队列逐一显示图像并进行类别标注；(3)发现错标时可及时进行撤回及重新标注；(4)标注进度显示,方便标注者判断当前任务进展情况；(5)显示病害典型案例以便为标注者提供判断依据。图像分类标注小工具将生成原始图像输出相对应的类别标注列表,如图6 所示。子图像名称与列表一一对应,便于后续批处理文件的生成。

图6 类别标注别表

将经过标注的样本数据顺序随机打乱后分为训练、测试两部分；训练样本：正常：367,横向：381,纵向：360,龟裂：361,块状：208,伪裂纹：368；测试样本：正常：34,横向：20,纵向：41,龟裂：40,块状：36,伪裂纹：33；包含裂缝的图像样本均为单病害样本。数据通过TFRecordWriter模块转化为.tfrecord 文件,实现多线程的快速io 队列操作以及对于网络模型的无缝对接(如表3)。

表3 样本训练集类型及样例

图7 干净路面样本(左)、失真样本(右)

4 图像预处理

4.1 数据清洗

在标注裂缝图像数据之前,对所有图像数据进行初步评估与分析,其中干净路面的样本(除地标线外无任何干扰物)占70%以上,失真样本占约10%,而可能存在病害的样本(包含真实裂缝,也包含井盖、伸缩缝等干扰物)仅占剩余的20%左右。为了提高标注效率,同时减小样本的不均衡性,需对裂缝图像数据进行清洗,排除掉大量明显不存在病害的干净路面样本与失真样本。

清洗数据分为人工清洗和模型清洗两部分,人工清洗即标注人员快速地在一定容错范围内对数据进行粗略的分类,分离出可能存在病害的样本以用于后续的精细标注。人工清洗的劣势在于耗时多且效率低。模型清洗指使用训练好的分类模型代替人工进行分类,模型清洗效率高但前提条件是需要一定的样本作为训练集。因此数据清洗结合了人工清洗与模型清洗两种方式,先由人工清洗完成部分工作并提供一定量的训练样本,然后训练模型并以模型清洗的方式代替人工。

本次清洗模型采用与分类模型一致的Resnet50,人工清洗整理出干净路面样本、失真样本、可能存在病害的样本各600 例,将每种500 例作为训练样本,100 例作为测试样本。最终所得清洗模型的混淆矩阵如表4：

表4 清洗模型的混淆矩阵

(1)干净路面样本：准确率：0.97333,精确率：0.98591,召回率：0.93333

(2)可能存在病害的样本：准确率：0.96889,精确率：0.92500,召回率：0.98667

(3)失真样本：准确率：0.99556,精确率：1.00,召回率：0.98667

4.2 滤波去噪

在路面裂缝检测中,滤波处理的目的就是减少或者去除噪声的影响、提高路面数据质量的同时保留裂缝信息。为找到适用于道路图像的滤波方法,分别尝试了均值滤波、中值滤波以及双边滤波。

图8 均值滤波

图9 中值滤波

图10 双边滤波

均值滤波是指用元像素其周围像素的平均值代替元像素值,在滤除噪声的同时也会滤掉图像的边缘信息。即在滤除路面噪点的同时,裂缝信息在一定程度上也被过滤。在测试中,均值滤波后基本无法保留裂缝的轮廓,因此不适合作为道路图像的滤波方式(如图8)。

中值滤波用元像素周围邻域像素集中的中值代替元像素。中值滤波去除椒盐噪声和斑块噪声时,效果非常明显。但在测试中也发现,中值滤波也过滤掉了较多的裂缝边缘信息,使裂缝显得模糊。因此中值滤波也不适合作为道路图像的滤波方式(如图9)。

双边滤波是一种非线性的滤波方法,是结合图像的空间邻近度和像素值相似度的一种折衷处理,同时考虑空域信息和灰度相似性,达到保边去噪的目的。在使用双边滤波后,路面噪点降低,但裂缝信息依然保留(如图10)。

4.3 增强

图像增强能够有目的的强调图像的整体或是局部特征,将不清晰地图像变得更为清晰,或是强调某些感兴趣的特征,使其改善图像质量,加强图像判别和识别的效果。为找到适合与道路图片的图像增强方法,分别尝试了对比度拉伸、灰度矫正等方法。

图11 对比度拉伸

图12 纵向灰度矫正

表5 图像增广方法

表6 测试结果的混淆矩阵

对比度拉伸是扩展图像灰度级动态范围的处理方法,扩大图像内各个像素值之间的距离,从而达到提升图像特征局部特征识别效果的目的。经测试对比度拉伸后的道路图像虽然裂缝特征得到了加强,但原版经过过滤的噪声信息也同样被凸显出,因此该方法不适合作为道路图像的增强方式(如图11)。

在路面裂缝检测中,往往存在沿车道方向颜色深浅不一的条纹,成因可能是刹车印记或地线磨损后留下的印记。这些颜色深浅不一的条纹对裂缝的识别造成一定的干扰。为尽可能减少以上干扰,采用了一种纵向灰度矫正的图像增强方式,如图可见,沿车道方向颜色深浅不一的条纹被减弱,但裂纹依然清晰可见(如图12)。

4.4 样本扩充

图像增广方式采用：随机水平翻转、随机对比度调整、随机亮度调整、随机微角度旋转、随机裁剪缩放,同时每个batch 在进入网络训练前进行样本顺序的随机打乱。单张图像输入网络前均进行归一化处理。通过上述处理可增加样本随机性,在训练过程中增强模型的泛化能力。

5 基于裂缝病害图像标注和预处理的模型训练结果

如表6 所示：

(1)正常：准确率：0.91219,精确率：0.76666,召回率：0.67647

(2)横向：准确率：0.96098,精确率：0.83333,召回率：0.75000

(3)纵向：准确率：0.94634,精确率：0.85714,召回率：0.87805

(4)龟裂：准确率：0.93658,精确率：0.81395,召回率：0.87500

(5)块状：准确率：0.94146,精确率：0.80000,召回率：0.88889

(6)伪裂：准确率：0.94146,精确率：0.84375,召回率：0.79412

其中,平均准确率：0.94,平均精确率：0.82,平均召回率：0.82

6 结论

沥青路面裂缝作为道路典型病害之一,裂缝的自动识别技术在道路检测行业需求极为迫切,但现有的识别算法难以达到工程应用级精度,其主要原因之一是由于路面裂缝图像未有完备的标注规则及数据处理机制。本研究通过对裂缝病害判断规则的制定,到路面裂缝的判断依据,据此构建裂缝标准图像训练集,通过完备的数据图像处理流程,可实现路面裂缝较高的识别准确度,为扩大路面裂缝自动识别项目级应用奠定基础。