孙乐乐,席一帆,孙 恒,钟永元

1(长安大学 信息工程学院,西安 710064)

2(长安大学 汽车学院,西安 710064)

3(福建省高速技术咨询有限公司,福州 350001)

1 引言

随着公路桥梁数量的不断增多,后期的检验养护等问题也越来越多.根据《公路养护技术规范》裂缝宽度最大容许值为0.25 mm,对于裂缝大于0.25 mm 的裂缝应当及时封闭处理.传统的裂缝检测主要是桥检车,高倍望远镜等,检测耗时耗力,对于跨海大桥及复杂环境桥梁,传统方法不能很好的满足需求,因此,提出一种高效适用性强的桥梁检测系统很有意义.

对于桥梁检测国内外学者做了大量研究,Baltazart[1]改进了最小路径算法并在3 种平台检验裂缝测试效果.Dinh 等[2]从裂缝图像的阈值背景出发提取感兴趣区域,在均值滤波后进行裂缝检测.Hoshyar 等[3]提出一种混合方法检测,通过传感器接收到的数据进行处理,提取出裂缝的统计特征并结合支持向量机进行裂缝检测.Teng 等[4]提出了一种基于形状的裂缝检测方法,提取出潜在裂缝并进行曲线拟合,根据形状度量来区分裂缝及其背景.Prasanna 等[5]设计了一种空间解调分类器检测裂缝,该法精度高但是检测结果不具连贯性.

国内也发展迅速,杨会玲等[6]提出一种基于多尺度滤波和裂缝合并算法,突出裂缝特征检测裂缝.陈瑶等[7]用爬壁机器人采集数据,并通过KD 树分类和支持向量机实现检测.瞿中等[8]研究了图像中细小裂缝的检测,提出一种加速渗流模型,快速检测裂缝.刘洪公等[9]提出了卷积神经网络检测裂缝,识别不同的裂缝图像,改进了网络模型.孙乐乐等[10]提出裂缝检测拼接3D 系统,该系统检测方便,但未考虑到裂缝长宽的测量,本文在此基础上改进,增加裂缝长宽检测,可以对宽度超标的裂缝及时封闭处理.

无人机桥梁适用性强,数据采集方便,不受地理条件的制约.本文设计的改进型桥梁三维重构及检测系统,硬件是大疆M210-RTK 工业级无人机,软件是由件是由图像数据获取模块、裂缝检测模块、3D 模型构建模块构成,并提出改进后的检测方法,该检测方法是无人机分别采集图片视频数据,对采集回来的图片数据进行裂缝种类识别,长度计算.对视频数据建立3D 模型,3D模型能够直观看到裂缝在桥梁中的区域,便于检修人员快速找到病害位置并及时制定解决方案.本方法提高了整个桥检的效率,通过长宽计算功能的添加,完善了桥检系统,减少了后期人工测量长宽,节省了一些人物力.

2 系统介绍

本系统由3 个模块组成,图像数据获取模块,裂缝检测模块,3D 模型构建模块,如图1.

图1 系统总体功能模块

该系统的图像数据获取模块和裂缝检测模块采用Matlab 语言并在Matlab R2015b 平台上设计了工作界面,3D 建模是基于Ubuntu 16.04 系统.其中裂缝检测可与3D 建模分开并独立工作,提升工作效率.图像获取模块根据桥梁的不同采集时间也不同,一般半天左右,每张裂缝图片种类检测耗时3.6 s,长宽检测平均耗时4.3 s.3D 建模耗时一般为所采集视频时长的1.5 倍.软件系统界面如图2.图2(a)和图2(b)是Matlab 界面主要用于裂缝检测和图像拼接,图2(c)和图2(d)是3D建模界面.

2.1 无人机图像数据获取

本文采用大疆无人机M210-RTK 采集图像,该型号无人机是大疆公司篇高端的一款机型,抗干扰能力强,障碍物感知准确,具体参数信息见表1.

为了保证无人机安全作业,首先要预制飞行方案,其次将桥墩划分区域,具体划分规则是将桥墩柱从上到下每隔1 m 作为一个区域,并对每个区域进行编号,方便后期维护人员快速找到裂缝的大致位置.

第一次飞行将避障距离设为2 m,设置定时定距离环绕桥墩拍摄,设置的定时时间是2 S,设定的固定距离是2 m,以划分好的区域为单位进行飞行拍摄.

第二次飞行时启用录像功能,选择环绕飞行模式,以桥墩为中心,飞行一周进行采集数据,拍摄时要设置好镜头转变的角度,不能过大或过小,本文将角速度设为π/9 (rad/s).

图2 软件系统工作界面

表1 M210-RTK 参数

图3为无人机实物图,图4为无人机飞行模式图.

图3 无人机及作业画面

图4 飞行模式图

2.2 裂缝检测

裂缝是危害桥梁安全的重要因素,及时准确的检测对后期保养维修起着重要的作用,本文主要研究水泥沥青路面的裂缝种类及长宽计算,检测步骤分为6 步.

(1)灰度化.为了减小内存提高处理速度,将原图灰度化,本文灰度化采用RGB 加权平均法来,见式(1)：

(2)中值滤波.中值滤波是一种非线性平滑技术,在滤波的同时可以保护边缘信息[11],见式(2)：

式中,f(x)是原图,g(x)是滤波后的图,w是在原图上滑动的模版,本文模版取3×3,如下：

(3)图像边缘与周围像素差值较大,包含着丰富的细节信息.由于Sobel 算子运行速度快,处理噪声较多和灰度渐变的图像效果好[12],此处采用Sobel 算子进行边缘检测,Sobel 算子有x和y两个方向构成,并分别求卷积求取梯度,模版如下：

水平方向模版：

垂直方向模版：

每个点梯度的大小：

(4)裂缝边缘连通分量提取.若u是y中的一个点,y是A中一个连通分量,每次迭代仅能得到一个连通分量,因此需不断迭代直至求出所有连通分量,即式(6)：

式中,X0=u,k=1,2,3,···,A为大津法分割后的图像,⊕为膨胀运算,B为膨胀的结构元素,本文结构元素是8 连通区域的3×3 矩阵,结构元素见图5.

图5 结构元素(均为1)

(5)裂缝种类识别.桥梁中的裂缝主要分为3 类：横向,竖向,网状.本文通过像素累计迭代法判定裂缝类型,首先计算裂缝的质心坐标(x_cen,y_cen),然后以长8r+1,宽2r+1 并以质心坐标(x_cen,y_cen)构建矩形,计算矩形内裂缝像素和sumr与总像素的比值ρ,若ρ小于0.8,则r+10 扩张矩形再次进行计算,直至ρ>0.8,计算过程如图6.

图6 计算裂缝像素数目

图6中4 表示裂缝,3 表示初始建立的长为8r+1,宽为2r+1 的长方形(初始值r=10),2 表示扩张后的长方形(每次以r=r+10 进行扩张),1 表示拍摄的整个图片.

裂缝的分布密度ρ为：

计算x_max,y_max差分值并与0.2 作比较,在ρ小于0.2 的情况下,x_maxy_max为横向裂缝,若ρ的值在0.2 与0.335 之间则为网状裂缝.

(6)裂缝的尺寸计算.裂缝的长度宽度可以直观的反应对桥梁的危害程度,对于小于规定的裂缝宽度可以忽略,大于规定阈值0.25 mm 要及时封闭处理.

将第(4)步边缘连通分量提取之后的图像进行闭操作,闭操作是先膨胀后腐蚀,可以平滑轮廓,并填充比结构元素小的洞[13],见式(8)：

式中,R表结构元素,本文用的是3×3 的单位矩阵,⊕表膨胀操作符,Θ 腐蚀操作符,G为闭操作处理之后的图像.

类比定积分思想,对上述图像通过分段迭代法进行曲线拟合求取长度,步骤如下,示意图见图7.

图7 分段迭代示意图

① 连接裂缝左右端点mn,在曲线上找一点s2,使s2到线段mn的距离最大.

② 连接m和s2,n和s2,分别在其中间找s1和s3满足s2到线段ms2,ns2的距离最大.

③ 重复上述步骤,直至满足最大距离小于设置的阈值.

④ 将ms1,s1s2,···,s(n−1)n相加得到裂缝的长度像素l.

骨架化在图像处理中主要用于骨架的提取,将一定宽度的裂缝变成单像素宽,骨架化可以简洁的描述裂缝的形态信息,目标M中所有最大内切圆的圆心构成了目标M的骨架SK(M)[14],骨架化示意图见图8.

图8 骨架法示意图

骨架的每一个点都有对应的半径和最大内切圆,见式(9)：

式中,M为待处理目标,rB代表半径为r的圆,drB代表微小半径的圆,骨架化之前像素数是面积S,已知l,则骨架化后的裂缝宽度d见式(10)：

2.3 3D 模型构建

本文三维构建采用直接稀疏里程计法DSO (Direct Sparse Odometry).基于收集到的图像信息,DSO 可以在陌生环境下通过连续的数据流对数据进行建模.DSO 视觉里程计通过计算局部地图中的点得到像素点的三维坐标,并记录视觉里程计不同时刻的相机位资,根据基于图优化估计得到的全局轨迹,建立符合建模的环境或地图[10].

DSO 是一种视觉Slam 的解决方案,但与传统Slam匹配特征点不同[15],它是直接视觉Slam 法与稀疏法相结合,利用图像中的所有像素点,将不同时刻的位资估计与数据关联联系起来,统一成优化问题,这对图像细节信息少,纹理特征弱的桥梁图像具有较高的鲁棒性.

本文通过DSO 对桥梁进行三维建模,可建出桥梁概况,在检测到有裂缝的区域之后,可通过对3D 模型做出标记,方便检修人员在检修作业前了解其大概方位,可以更快地到达目的地.3D 建模的步骤如下所示：

(1)标定图片,计算内参矩阵.为了减小透镜畸变的影响,在用无人机采集图像之前要对相机进行标定,为了提高标定精度,每副标定图片都有一定的角度变化,本文标定图片采用8×8 的棋盘格,角点数为49,每个格子边长2.5 mm,标定图片见图9.

将15 副标定图片输入Matlab 中Camera Calibrator工具箱,得出内参矩阵K：

图9 标定图片

(2)视觉里程计(VO)

视觉里程计VO (Visual Odometer)是3D 建模中一个重要的环节,它通过对视频中连续变化图像的提取,计算出不成熟且逆深度收敛的三维坐标点,从而得到点云数据.在建模过程中,后端优化与视觉里程计同时存在.假设两帧图像I1,I2和空间中的点P是同一个相机获取的,P1,P2代表空间点P在I1,I2中的像素坐标,[X,Y,Z]是其世界坐标,如图10.

图10 直接法示意图

为了得到相机位姿变换,参考第一帧并求取第二帧的移矩阵t和旋转矩阵R,考虑到在整个建模过程中相机内参矩阵K保持不变,P1和P2的投影方程为：

其中,z1是空间点P在第一帧图片I1的深度,z2空间点P在第二帧I2的深度,K为无人机相机的内参矩阵,ξ 为t,R对应的代数.

在VO 中对每一帧图像的流程如图11所示.

(3)后端优化

DSO 中滑动窗口关键帧与其相连的成熟点(地图点)构成了残差项,建立了后端优化问题,为了后端优化,本文采用高斯-牛顿法进行迭代,迭代过程中残差项会形成一个大的线性方程[16]：

其中,r,W,J为残差权重和雅可比行列式,δx是全局优化更新量.在3D 建模的过程中不断重构这个优化问题,并保存优化后的结果.

图11 DSO 每帧图像处理流程

3 实验结果

3.1 裂缝检测实验

在西安市桥墩桥面出拍摄了200 副裂缝图片,100 副水泥裂缝,100 副沥青裂缝,依托2.2 节所述理论方法,基于Matlab 平台进行了识别,正确识别率高达93.3%,精度较高,对于病害能够及时检测到.水泥,沥青裂缝识别精度见表2和表3,长宽计算精度见表4,部分检测结果见图12.

表2 水泥裂缝识别精度

表3 沥青裂缝识别精度

表4 裂缝长款计算精度

3.2 建模实验

本次实验地点为长安大学的桥梁柱,该桥梁柱与桥墩具有相同的特征,因此选用此柱模拟桥梁桥墩以检验建模效果,通过大疆M210-RTK 采集视频,结合上述DSO 法,在Ubuntu 16.04 系统中完成了程序设计进行3D 建模.效果图如图13和图14.

图12 检测结果

图13 效果图左下角大图

图14 效果图

4 结语

本文针对桥梁裂缝病害检测,提出了基于无人机的桥梁三维重构及检测系统,针对此系统提出了相应的检测方法：

(1)获取图像数据,本文基于无人机采集,方便灵活且安全高效.

(2)裂缝检测,对无人机采集回来的图片进行种类的识别和长宽的计算,更为全面的了解裂缝信息,对超标的裂缝及时封闭处理.

(3)本文用DSO 法进行三维立体式模型构建,对桥梁全貌可以有直观的了解,对检测出来的裂缝按照之前划分好的对应标号可在3D 模型中直观了解到病害的具体方位,对维修人员工作前的方案制定有一定帮助.

(4)本文在进行桥梁裂缝病害检测时采用工业级无人机获取数据,并将二维与三维相结合,可实现对裂缝检测并确定其大概方位.对复杂桥梁的裂缝病害检测具有高效,直观,易实现的现实意义.