刘洪公, 王学军, 李冰莹, 孟 洁

(石家庄铁道大学信息科学与技术学院，河北石家庄 050043)



基于卷积神经网络的桥梁裂缝检测与识别

刘洪公, 王学军, 李冰莹, 孟 洁

(石家庄铁道大学信息科学与技术学院，河北石家庄 050043)

针对当前中国检测桥梁裂缝依赖人工目测，危险系数极大的落后现状，研究了一种基于数字化和智能化的检测方法，以提高桥梁安全诊断效率，降低危险系数。结合机器视觉和卷积神经网络技术，利用Raspberry Pi处理器采集和预处理图像，分析裂缝图像的特点，选取效果检测和识别裂缝效果最佳处理算法，改进裂缝分类的卷积神经网络模型(CNN)，最终提出一种新的智能裂缝检测方案。实验结果显示：该方案能够找到超出桥梁裂缝最大限值的所有裂缝，并可以有效识别裂缝类型，识别率达90%以上，能够为桥梁裂缝检测提供参考数据。

图像处理；桥梁裂缝； Raspberry Pi；卷积神经网络；检测

裂缝是桥梁安全最普遍的威胁因素，相关历史数据表明，由裂缝引起的桥梁安全事故占桥梁总体灾害的90%以上[1]。经过长时间的工程实践和严格的理论分析，人们发现0.3 mm是桥梁裂缝允许的最大限度，若宽度超限将破坏桥梁的整体性，甚至引发垮塌事故，因此安全维护需要保证探测超过此限度的所有裂缝信息[2]。目前基于数字图像处理技术的裂缝测量系统在桥梁诊断中已得到一定的应用；文献[3]应用小波变换理论对图像分解和重构实现了裂缝的检测与识别；文献[4—5]采用支持向量机对图像裂缝进行检测和识别；文献[6—7]分别提出了基于BP神经网络的图像裂缝检查与分类自动识别方法。本文通过Raspberry Pi处理器采集图像，通过3G无线网络传输图像数据，利用服务器运用图像处理技术对釆集到的图像进行分析处理[8]，最后使用卷积神经网络技术(CNN)对裂缝进行分类，实验证明该方法可以有效识别裂缝类型。

1 桥梁裂缝识别系统设计

桥梁裂缝识别系统包括2部分：裂缝图像采集系统及图像处理与识别系统。其中图像采集系统由Raspberry Pi处理器、网络摄像头、GPS定位模块、GPRS/3G模块及GPIO云台升降控制块组成，负责裂缝图像的采集、定位，并通过有线或无线网络将采集的图像或视频传到服务器。图像处理与识别系统位于服务器端，主要功能包括：图像的预处理(灰度变换、图像增强)、图像分割、CNN分类。系统的总体设计框图如图1所示。

图1 桥梁裂缝识别系统总体设计框图 Fig.1 Overall design block diagram of bridge crack identification system

2 裂缝图像处理

裂缝图像处理是裂缝检测与识别的关键部分。图像预处理的效果一定程度上可以决定裂缝识别的准确度。裂缝识别中的图像处理主要包括：裂缝图像的灰度化、图像增强、图像去噪、图像边缘检测、阈值分割算法[9]。

2.1 图像增强

本文采用分段线性函数增加图片的对比度，公式如式(1)所示。

(1)

式中：f(x,y)为输出点的灰度值；g(x,y)为输入点的灰度值；x1，x2为2个横轴的转折点；k值决定着几段变换区间函数的斜率。本系统根据裂缝图片的特点，将0.3～0.7之间的灰度值拉伸到0～1之间，其效果如图2所示。

图2 图像增强效果图Fig.2 Image enhancement effect chart

2.2 图像去噪

本文针对裂缝图像的特征，选择小波软阈值法进行图像滤波处理。裂缝图像经过小波变换，信号的能量主要集中于少数系数幅值较大的小波系数上。噪声对所有的小波系数都会有影响，变换后数量很多但幅值较小的小波系数认为是单纯由噪声产生的。小波软阈值法将小于阈值T的小波系数置零[10]。即：

(2)

阈值选择依据式(3)[11]：

(3)

式中：σ是噪声标准方差，σ=MAD/0.674 5(MAD是全部高频子带小波系数幅度中值);M，N为图像的行数和列数[12]。

本系统采用2层DB3小波分解加噪图像，利用文献[13]进行小波软阈值去噪，原始图像、噪声图像、去噪后图像分别如图3a)、图3b)、图3c)所示。

图3 裂缝图像去噪图Fig.3 Crack image denoising

2.3 图像分割

桥梁裂缝图像二值化处理阈值采用OTSU算法。设图片有L个灰度级，灰度值为i的像素数为ni，各灰度像素出现的频率为Pi，设图像被阈值T分为2部分(前景a与后景b)，其出现的频率分别为Pa和Pb，则前景、后景的灰度均值分别为

(4)

(5)

图像的灰度均值为

(6)

前景与背景的类间方差为

(7)

(8)

图4 裂缝图像预处理图Fig.4 Crack image pretreatment

处理后的图像如图4所示。

3 基于CNN的裂缝分类

卷积神经网络(CNN)逐渐成为计算机视觉研究领域的热点，其被广泛的应用于图像分类、对象的监测与识别中，并取得了很好的效果。本文利用CNN对横向裂缝、纵向裂缝、块状裂缝和网状裂缝4类进行识别及分类[14]。

3.1 CNN结构

卷积神经网络构建是CNN识别中的关键问题，LeNet-5是一个典型的卷积神经网络结构，被广泛的应用于手写数字的识别中。本文根据裂缝图像的具体特征，通过实验分析，采用了4c-2s-6c-2s-4o的结构，如图5所示。

图5 裂缝分类CNN结构图Fig.5 Crack classification CNN structure diagram

本网络结构的卷积层C1包含4张特征图，C3包含6张特征图，卷积核大小为5*5。输出结果为4类。 在对样本进行训练之前，需将经过处理的裂缝图片调整为32*32像素大小，并将其转换为二维矩阵。

3.2 卷积神经网络的训练

CNN训练分2个阶段。向前传播阶段，取样本集的1个样本(X,YP)，将X输入网络计算相应的实际输出OP；向后传播阶段，计算实际输出OP与相应的理想输出YP的差，按极小化误差方法反向传播调整权矩阵[15]。

设单元数目：输入层N、中间层L和输出层M。卷积神经网络训练步骤如下。

1)由裂缝采集视频中随机选取特定数目的帧图像作为训练组。

2) 设置Vij和Wjk为接近于0的随机值，并将精度控制参数ε和学习率α初始化。

3) 由训练组取1组输入X加至网络，再计算其目标输出向量d。

4) 运用式(9)计算1个中间层输出向量h，再根据式(10)计算出网络的实际输出向量y：

(9)

(10)

5) 运用式(11)计算M个输出向量与目标向量的输出误差:

δk=(dk-yk)yk(1-yk)。

(11)

运用式(12)计算L个中间层隐式单元误差:

(12)

6) 运用式(13)和式(14)顺序算出各个权值调整量：

(13)

(14)

运用式(15)和式(16)计算阈值的调整量:

(15)

(16)

7) 运用式(17)和式(18)微调权值：

(17)

(18)

运用式(19)和式(20)调整阈值：

(19)

(20)

图6 迭代次数与均方误差关系图Fig.6 Number of iterations and the mean square error relation diagram

8)每当k经过1到M后，判定指标是否达到精度：E<ε，若不满足要求，则回退到步骤3)，进行循环；若满足则进入下一步。其中E为总误差函数，见式(21)：

(21)

3.3 实验结果分析

实验环境为Matlab2014，Intel Core CPU，主频2.60 GHz、内存8 GB。所用图像均为自采集图像，共4类，其中每类400张，随机选取其中的300张作为训练样本，100张作为测试样本，系统采用每30个样本更新一次权值，单次迭代时间平均为7 s，迭代200次，均方误差小于0.1，如图6所示。

总体正确率大于90%，实验结果如表1所示。

表1 裂缝自动分类统计

从表1中的结果可看出，基于卷积神经网络的自动分类方法对横向裂缝，纵向裂缝，块状裂缝的分类准确率均达到90%以上，对网状裂缝的分类准确率也达到85%，比传统的分类方法正确率明显提高。

4 结 语

本文提出了一种基于CNN的桥梁检测识别算法，通过分析比较多种不同神经网络的结构特点，对卷积神经网络模型结构进行了改进。通过Matlab搭建的模型仿真实验，验证了所提方案的可行性和有效性。该方法可以有效解决国内裂缝诊断效率低、危险系数高等问题，有利于桥梁安全检测向自动化、智能化的方向发展。但该文中的实验结果未能达到预期效果，主要是由于所选裂缝图像的光照不均、裂缝个数过多、倾斜角度过大等。未来的研究重点在于处理好外部影响因素，进一步提高桥梁裂缝检测与识别的正确率。

[1] 张登峰．基于图像处理的铁路混凝土桥梁裂缝探测和信息获取[D]． 北京：北京交通大学， 2014．

ZHANG Dengfeng. Crack Detection and Information Acquisition of Railway Concrete Bridges Based on Image Processing[D]. Beijing：Beijing Jiaotong University, 2014.

[2] 周传林．图像处理技术在混凝土桥梁裂缝检测中的应用研究[J]．筑路机械与施工机械化，2014，31(2)：74-77．

ZHOU Chuanlin. Research on the application of image processing technology in crack detection of concrete bridges[J]. Road Machinery & Construction Mechanization, 2014, 31(2): 74-77.

[3] 孙波成, 邱延峻, 梁世庆. 基于小波的路面裂缝识别研究[J]. 重庆交通大学学报(自然科学版), 2010, 29(1):69-72.

SUN Bocheng, QIU Yanjun, LIANG Shiqing. Research on pavement crack identification based on wavelet transform[J]. Journal of Chongqing Jiaotong University(Natural Science Edition), 2010, 29(1):69-72.

[4] 丁爱玲, 焦李成. 基于支撑矢量机的路面破损识别[J]. 长安大学学报(自然科学版), 2007, 27(2):34-37.

DING Ailing, JIAO Licheng. Pavement distress recognition based on support vector machine[J]. Journal of Chang’an University(Natural Science Edition), 2007, 27(2):34-37.

[5] YAN H S, XU D. An approach to estimating product design time based on Fuzzy -Support Vector Machine[J]. Neural Networks IEEE Transactions, 2007, 18(3):721-731.

[6] DONG C, CHEN C L, HE K, et al. Learning a deep convolutional network for image super-resolution[C]//European Conference on Computer Vision.[S.l.]:[s.n.],2014:184-199.

[7] ZEILER M D, FERGUS R. Visualizing and understanding convolutional neural networks[J].CoRR, 2013, abs/1311.2901.

[8] 张国旗. 基于图像处理的混凝土桥梁底面裂缝检测方法的研究[D].北京： 北京交通大学, 2010.

ZHANG Guoqi. Research on Crack Detection Method of Concrete Bridge Bottom Surface Based on Image Processing[D]. Beijing ：Beijing Jiaotong University, 2010.

[9] 黄科军. 基于车牌自动识别数据的车辆行为跟踪检测分析[D]. 长沙：湖南大学, 2013.

HUANG Kejun. Vehicle Behavior Tracking Detection Analysis based on Vehicle License Plate Automatic Recognition Data [D]. Changsha:Hunan University, 2013.

[10] 段青, 李凤祥, 田兆垒. 一种改进的小波阈值信号去噪方法[J]. 计算机仿真, 2009, 26(4):348-351.

DUAN Qing, LI Fengxiang, TIAN Zhaolei. An improved wavelet threshold denoising method[J]. Computer Simulation, 2009, 26(4):348-351.

[11]路阳. 多尺度改进非局部平均图像去噪算法[D]. 西安：西安电子科技大学, 2012.

LU Yang. Multi Scale Improved non Local Average Image Denoising Algorithm[D]. Xi’an:Xidian University, 2012.

[12]李天翼, 王明辉, 常化文,等. 基于熵检测的图像噪声方差小波域估计[J]. 北京邮电大学学报, 2011, 34(5):1-5.

LI Tianyi, WANG Minghui, CHANG Huawen, et al. Wavelet domain estimation of image noise variance based on entropy detection[J]. Journal of Beijing University of Posts and Telecommunications, 2011, 34(5):1-5.

[13]高文仲, 陈志云, 曾秋梅. 小波阈值图像去噪算法改进[J]. 华东师范大学学报(自然科学版), 2013(6):83-92.

GAO Wenzhong, CHEN Zhiyun, ZENG Qiumei. Improvement of wavelet threshold image denoising algorithm[J]. Journal of East China Normal University(Natural Science Edition), 2013(6):83-92.

[14]严萍.汽车车牌自动识别技术的研究[D].南京：南京理工大学，2008.

YAN Ping.Research on Study on the Vehicle License Plate Recognition Technology[D].Nanjing:Nanjing University of Science and Technology,2008.

[15]杨心. 基于卷积神经网络的交通标识识别研究与应用[D]. 大连：大连理工大学, 2014.

YANG Xin. Research and Application of Traffic Sign Recognition Based on Convolutional Neural Network[D]. Dalian: Dalian University of Technology, 2014.

Detection and recognition of bridge crack based on convolutional neural network

LIU Honggong , WANG Xuejun, LI Bingying, MENG Jie

(School of Information Science and Technology, Shijiazhuang Tiedao University, Shijiazhang, Hebei 050043, China)

Aiming at the backward artificial visual detection status of bridge crack in China, which has a great danger coefficient, a digital and intelligent detection method of improving the diagnostic efficiency and reducing the risk coefficient is studied. Combing with machine vision and convolutional neural network technology, Raspberry Pi is used to acquire and pre-process image, and the crack image is analyzed; the processing algorithm which has the best effect in detecting and recognizing is selected; the convolutional neural network(CNN) for crack classification is optimized; finally, a new intelligent crack detection method is put forward. The experimental result shows that the system can find all cracks beyond the maximum limit, and effectively identify the type of fracture, and the recognition rate is above 90%. The study provides reference data for engineering detection.

image processing; bridge crack; Raspberry Pi; convolutional neural network； detection

1008-1542(2016)05-0485-06

10.7535/hbkd.2016yx05009

2016-04-27；

2016-07-01；责任编辑：李 穆

河北省教育厅重点项目(ZD2016052)

刘洪公(1990—)，男，河北沧州人，硕士研究生，主要从事机器视觉和计算机控制方面的研究。

王学军教授。E-mail:wangxj@stdu.edu.cn

TP183

A

刘洪公，王学军，李冰莹，等.基于卷积神经网络的桥梁裂缝检测与识别[J].河北科技大学学报,2016,37(5):485-490.

LIU Honggong，WANG Xuejun，LI Bingying，et al. Detection and recognition of bridge crack based on convolutional neural network[J].Journal of Hebei University of Science and Technology,2016,37(5):485-490.