石陆魁　党　磊　杨　璐　师胜利

1(河北工业大学计算机科学与软件学院　天津 300401)

2(河北师范大学信息技术学院　河北 石家庄 050024)



融合流形特征的路面破损图像识别方法

石陆魁1党磊1杨璐1师胜利2

1(河北工业大学计算机科学与软件学院天津 300401)

2(河北师范大学信息技术学院河北 石家庄 050024)

摘要研究路面破损图像识别的特征提取优化问题。为了克服常见的破损密度因子或坐标轴投影等特征提取时易受噪声影响，仅从底层视觉角度描述破损图像裂缝特性，不能高效、精确地区别不同裂缝的问题，提出一种融合流形特征的路面破损识别方法。首先利用流形学习中的Laplacian Eigenmaps算法提取图像的低维流形特征，令其作为图像裂缝的高层语义，然后将流形特征与破损密度因子或坐标轴投影等底层视觉特征融合，利用融合后的特征识别裂缝类别。仿真结果表明，将流形特征与其他特征融合后，可以从高层语义、底层视觉两个层面全方位的描述路面裂缝，极大地提高路面裂缝的识别精度。

关键词流形学习路面破损图像识别特征融合拉普拉斯特征映射法

RECOGNITION METHOD OF PAVEMENT DISTRESS IMAGES FUSING MANIFOLD FEATURES

Shi Lukui1Dang Lei1Yang Lu1Shi Shengli2

1(School of Computer Science and Engineering,Hebei University of Technology,Tianjin 300401,China)2(School of Information Technology,Hebei Normal University,Shijiazhuang 050024,Hebei,China)

AbstractThis paper mainly discusses the feature extraction optimisation for pavement distress images recognition. In order to overcome the common problems that the features such as damage density factors or coordinate axes projections are sensitive to noise, and it cannot effectively and accurately distinguish various pavement cracks by describing the cracks feature of distress images from underlying visual perspective only, we presented a pavement distress recognition method fusing the manifold features. In the method, first it uses Laplacian eigenmaps algorithm in manifold learning to extract the low dimensional manifold features from pavement images and makes it as the high-level semantics of image cracks. Then it fuses the manifold features with the underlying visual features of distress density factors or coordinates projections, and utilise the fused features to recognise the category of cracks. Simulation results showed that with the fusion of manifold features and other features, it was able to give a full range description on pavement cracks from two dimensions of high-level semantics and underlying visual, and greatly improved the accuracy of pavement cracks recognition.

KeywordsManifold learningPavement distress image recognitionFeature fusionLaplacian eigenmaps

0引言

随着数字图像技术的快速发展，图像处理技术被应用在路面破损图像的自动识别中，克服了传统人工检测方法的诸多缺点。目前，已经有许多路面破损图像识别方法[1-12]，如文献[2]提出了基于破损密度因子的识别算法，文献[3]提出了基于prewitt算子的破损图像识别方法，文献[5,6]提出了利用不变矩来提取图像的裂缝特征,文献[8]利用小波分析的多分辨率分析提取破损路面裂缝特征和动态神经网络DNN(Dynamic Neural Network)分类。

一般路面破损图像识别包括路面破损图像采集、图像增强、图像分割、特征提取、和识别5个阶段[1]。其中特征提取是路面破损图像识别的关键阶段。目前，常见的路面破损图像特征提取方法有破损密度因子、坐标投影、不变矩、和纹理等[2-7]。破损密度因子法通过选用不同的滤波算子，获得路面子块图像的破损值，对识别网状、块状裂缝较为有效。基于投影理论的特征提取算法根据不同类型裂缝在水平和垂直方向上的灰度值投影来区分不同的裂缝，可有效区分横向裂缝和纵向裂缝。但是此类特征都是路面图像的底层视觉特征，不能全面、准确地区分不同类型的裂缝。事实上，高维的路面图像本质上是分布在一个低维流形上，利用流形学习方法就可以发现该低维流形。

流形学习在模式识别、数据挖掘、机器学习等领域得到了广泛的应用[14]，常用的流形学习方法有等距映射法ISOMAP(Isometric Feature Mapping)、局部线性嵌入法LLE(Locally Linear Embedding)、拉普拉斯特征映射法LE(Laplacian Eigenmaps)和局部切空间校正法LTSA(Local Tangent Space Alignment)等。通过这些流形学习方法可以将高维的路面图像投影到低维空间中，提取出其流形特征，得到路面图像的高层语义信息。

路面破损图像识别感知的是图像的高层语义，而灰度投影和破损密度因子提取的是路面图像的底层视觉特征，用底层视觉特征很难准确地来感知高层语义。流形特征提取的是路面图像的语义特征，但其缺乏对路面图像的底层视觉特征的细节描述。为了更好地识别路面裂缝，需要一种既能表示图像细节又能描述图像语义的特征。为此，本文提出一种融合流形特征的路面破损图像识别方法。该方法融合了底层特征和流形特征，新的融合特征可以全方位、多角度的描述不同类型的图像裂缝，实验表明融合流形特征的识别方法可以明显区分不同类型的裂缝，极大地提高了裂缝的识别精度。

1路面破损图像的一般识别过程

基于图像处理的路面破损图像识别过程一般分为五步：采集路面破损图像、图像增强、图像分割、特征提取、路面裂缝分类。

1.1图像预处理

采集路面破损图像时，由于受到天气、采光、气流噪声、油污等因素的影响，路面图像存在较严重的噪声污染。图像预处理的任务就是去除图像噪声，增强图像中的裂缝特征，从而准确地提取出图像裂缝。图像预处理包括图像增强和图像分割两步。

1.1.1图像增强

图像增强的目的是去除图像噪声、增强图像裂缝特征、改善图像视觉效果。图像增强技术可分为空间域方法和频域方法。空间域方法直接对图像像素处理，主要有滤波算法、消除背景不均匀的光照、去除孤立噪声点、基于图像灰度信息的增强算法等。频域方法一般利用傅里叶变换、小波变换将图像转换到频域空间处理，然后再变换到空间域，其主要包括高低通滤波算法、基于小波变换的增强算法。本文在此阶段采用空域方法中的中值滤波算法处理图像，该算法是一种基于排序统计理论的非线性信号处理技术，首先将一定邻域内的像素按照灰度值由小到大排序，然后选取中间灰度值作为邻域内中心像素点的新灰度值，从而消除噪声。中值滤波算法尤其是对椒盐噪声非常好，当灰度范围变化较小时，具有较好的去噪平滑效果；降低图像边界模糊程度，保护图像边缘信息。

1.1.2图像分割

图像分割通过将目标图像划分为若干个特定的、具有独特性质的区域，提取出图像中感兴趣的目标。通过图像分割处理，原始图像表现得更加抽象、紧凑，便于进一步的高层解析。常见的图像分割技术有阈值化分割、边界分割、区域分割等方法。本文在此阶段采用最大类间方差法Ostu，该算法具有稳定性良好、计算简单等特点，尤其对灰度类间方差为单峰的图像具有较好的效果。众所周知，路面破损图像中目标裂缝种类少，灰度图像可分为背景和目标两类，而且灰度图像直方图为典型的单峰图像，如图1和图2所示。

图1　裂缝灰度图像　　　　图2　直方图

1.2特征提取

图像特征提取是用计算机中的数学、公式、符号等描述感兴趣的图像目标，是图像识别的关键阶段，特征提取的目的是获取“少而精”的分类特征。通常以识别图像中不同类型的裂缝来评估破损图像的破损程度，路面破损图像中的裂缝有横向裂缝、纵向裂缝、块状裂缝、龟状裂缝四类。针对裂缝的特点，一般提取裂缝的几何特征、密度特征、统计特征等。下面介绍本文中采用的两种常见特征提取方法。

1.2.1破损密度因子

基于破损密度因子的识别方法[2]是一种基于路面子块的方法，破损密度因子是d×d大小的滤波算子。对于d×d大小的滤波算子，其中心位置一般设为“1”，其余位置距离中心越远，其值越小或者全部为“1”，如图3和图4所示。

图3　3×3模板　　　　　　　图4　5×5模板

在破损密度因子识别方法中，首先对路面破损图像进行二值化处理，像素值“1”代表破损裂缝区域，像素值“0”代表背景区域。然后利用模板对二值化图像按照从上到下、从左到右的顺序进行扫描，遇到灰度值“0”，不作处理；遇到灰度值“1”，将破损密度因子中心位置“对准”位置“1”，最后将破损密度因子与相同大小的路面图像进行卷积运算，用卷积运算后的值取代“1”。

在本文实验中分别利用3×3和5×5的密度因子与路面图像进行卷积后得到：

S3={3×3密度因子与图像卷积}

(1)

S5={3×3密度因子与图像卷积}

(2)

令S0为路面二值化图像中灰度值为1的总数，得:

(3)

(4)

将S0、F1和F2作为路面图像特征进行裂缝识别。

1.2.2坐标投影

基于投影理论的特征对横向裂缝和纵向裂缝具有较好的区分能力。假设路面破损图像二值化后“1”代表裂缝区域的像素值，“0”代表背景区域的像素值。对二值化图像分别进行水平和垂直方向投影，则横向裂缝在垂直轴上的投影量明显大于水平轴上的投影量；反之，纵向裂缝在水平方向上的投影量明显大于垂直方向上的投影量；一般网状和块状裂缝在两个方向上的投影量相差不是很明显。假设路面二值化图像为A ，其大小为m×n，a(i,j)为像素值，则A关于水平及垂直方向的投影计算公式为：

(5)

(6)

得到图像在水平和垂直方向的投影后，将二值图像在水平与垂直方向的投影最大差值作为路面破损图像的特征，记为(q(x),q(y))，其计算公式如下：

qx=max(xj)-min(xj)

(7)

qy=max(yi)-min(yi)

(8)

1.2.3特征提取难点与创新

图像裂缝的几何、密度等特征着重从底层视觉层面描述裂缝特性，过于专注图像的细节描述，易受噪声影响，缺乏对路面破损图像高层语义的描述，不能高效区分所有类型的裂缝。众所周知，路面破损图像是高维数据，根据研究，高维数据的内在规律是分布在一个低维流形上的。所以为了更好地识别路面裂缝，本文提出了一种融合流形特征的路面破损图像识别方法。该方法将破损密度因子或坐标投影等底层特征和流形特征融合，新的融合特征既能表示图像底层细节又能描述图像语义，可以更加高效、精确的识别裂缝。

2流形特征与Laplacian Eigenmaps算法

LE算法是一种基于谱图理论的流形学习方法。其基本思想是使得高维空间中距离很近的点在低维空间中也离得很近。对给定的高维数据集X={x1,x2,…,xN}，xi∈RD，LE算法的步骤可总结如下：

1) 构造邻域图G(V,E)。确定每个样本xi的邻域(可以采用k-近邻)，若xi和xj是近邻，则两点之间存在一条边，否则不存在边。

2) 构造权值矩阵W。在邻域图G(V,E)中，为每条边设置相应的权值wij，得到权值矩阵W。

3融合流形特征的识别方法

坐标投影、破损密度因子描述了路面图像的底层视觉特征，而流形特征则描述了路面图像的语义特征。单独使用底层视觉特征或语义特征都难以取得非常理想的识别效果，4.2节中的实验也说明了这一点。如果将这些特征融合在一起，既可以描述图像的底层细节特征，也可以描述图像的语义特征，将有助于提高路面裂缝的识别精度。为此，得到了融合流形特征的识别方法。在该方法中，首先分别提取流形特征和坐标投影或破损密度因子，然后将流形特征和坐标投影或破损密度因子融合在一起，最后对融合后的特征进行分类。假设共有M幅路面破损图像，图像大小为m×n，融合流形特征的识别模型如图5所示。

图5　融合流形特征的识别方法

为了实现特征融合，其步骤可总结如下：

1) 从M幅路面图像中提取投影特征或破损密度因子，得到特征矩阵P={p1,p2,…,pM}T。

2) 把每幅图像看作是N=m×n维空间中的一个点，利用LE算法将高维的路面图像映射到低维空间中提取流形特征，得到流形特征矩阵Y={y1,y2,…,yM}T。

3) 将步骤1)和2)得到的特征矩阵P和Y融合，得到融合后的特征矩阵YP={(y1,p1),(y2,p2),…,(yM,pM)}T。

4) 将YP作为输入参数，利用KNN、SVM、ELM和BP神经网络等方法识别裂缝类型。

4实验结果

为了验证所提方法的有效性，在实际采集的路面图像数据集上比较了不同特征及融合后对分类结果的影响。数据集由360幅实际采集的路面图像组成，包括横向裂缝、纵向裂缝、网状裂缝和块状裂缝四类，每类包含90幅图像，每幅图像大小为4068×3456，在实验中压缩后大小为70×93。在实验中首先对图像进行中值滤波去噪和二值化预处理，预处理后得到360幅二值化图像。

实验包括3个部分：流形学习方法参数的选择，不同特征对分类结果的影响和融合流形特征的识别方法的有效性验证。在实验中采用3折交叉验证，即将数据集分为3组，一组作为测试集，剩余两组作为训练集，轮流进行，将3次的平均值作为实验结果。分类时采用KNN 、SVM 、ELM和BP神经网络4种分类方法，KNN的近邻个数k=6；SVM采用v-SVC模型和径向基核函数RBF，参数n=0.5，g=0.0095；ELM中隐含层单元数h=20；BP神经网络的最大迭代次数为1000，学习速率η=0.1。

4.1流形学习方法的参数选择

用LE算法提取流形特征时，需要确定要从高维的路面图像中提取几个流形特征，也就是需要知道高维数据的本征维数。这通过实验来估计，选取不同个数的流形特征，比较在不同流形特征集上的分类结果。在实验中比较2个流形特征和3个流形特征的结果。同时，由于高维空间中欧式距离可能不能正确反映样本之间的相似性，执行LE算法时采用夹角余弦来确定每个样本的邻域，并和采用欧式距离选择邻域的结果进行比较，如表1所示。

表1　不同邻域选择措施和维数下的分类结果(%)

由表1可以看出，利用LE算法提取流形特征后再识别，对于4种分类方法采用夹角余弦选择样本的邻域远远优于选用欧氏距离选择邻域。说明相对于欧氏距离，夹角余弦可以更好地反映不同路面图像之间的相似性。不管采用哪种距离选取邻域，也不论采用什么分类方法，使用2个流形特征分类与使用3个流形特征分类的结果非常相近。也就是说，对于高达70×93=6510维的路面图像选择2个流形征就可以较好地描述路面

图像的信息了。因此，在后面的实验中执形LE算法时都采用夹角余弦选择邻域，使用2个流形特征进行裂缝识别。

4.2不同特征对分类结果的影响

为了比较不同特征对分类结果的影响，分别利用第1.2节中介绍的3种特征提取方法从路面图像中提取2个投影特征，3个破损密度因子和2个流形特征。然后利用KNN 、SVM 、ELM和BP神经网络在这些特征上进行识别，如表2所示。

表2　在三种特征上的识别精度(%)

由表2可以看出，4种分类方法在流形特征上的识别结果与破损密度因子和投影特征上的结果相近，说明流形特征与投影特征和破损密度因子特征一样可以较好地区分各种类型的路面。破损密度因子法通过选用不同的滤波算子，获得路面子块图像的破损值，对识别网状、块状裂缝较为有效。基于投影理论的特征提取算法根据不同类型裂缝在水平和垂直方向上的灰度值投影来区分不同的裂缝，可有效区分横向裂缝和纵向裂缝。流形特征通过提取裂缝低维流形，对每种裂缝都有较好的识别效果。

4.3融合流形特征的有效性验证

为了检验融合流形特征和其他特征融合后对裂缝识别的影响，在实验中首先从预处理后的路面图像中提取2个投影特征、3个破损密度因子特征和2个流形特征，两两融合后再识别裂缝类别，如表3所示。

表3　不同特征融合的结果(%)

在表3中，“流形特征+破损密度因子”表示融合流形特征和破损密度因子特征后进行分类，其他两种情况含义相同。从实验结果可以看出，将3种特征两两融合后，相对于单一特征识别，识别精度都得到了明显的提升。而且在3种不同的融合方式中，流形特征融合破损密度因子或者投影特征的识别精度要优于破损密度因子融合投影特征的结果。从总体上看，流形特征融合破损密度因子的识别效果最好。这表明通过融合流形特征和破损密度因子或投影特征可以有效提高路面裂缝的识别精度。

5结语

在路面破损图像识别中，路面图像的特征提取直接关系到破损图像的识别结果。本文提出一种融合流形特征的路面破损图像识别方法，该方法首先提取破损密度因子特征或坐标投影特征;然后利用流形LE算法提取2维流形特征;最后将2维流形特征与破损密度因子特征或坐标投影特征融合。实验结果表明，融合流形特征的识别方法极大地提高了裂缝识别的精度。下一步的工作是将所提出的模型应用在实际的路面破损图像识别系统中。

参考文献

[1] 彭博,蒋阳升.路面裂缝图像识别算法研究进展[J].中外公路,2013,33(6):42-50.

[2] 肖旺新,张雪,黄卫.基于破损密度因子的路面破损识别新方法[J].交通运输工程与信息学报,2004,2(2):82-89.

[3] 张丽丽.基于Prewitt算子的路面破损图像识别和分析[J].公路交通科技:应用技术版,2011,9(4):73-75.

[4] 储江伟,初秀民,王荣本,等.沥青路面破损图象特征提取方法研究[J].中国图象图形学报:A 辑,2004,8(10):1211-1217.

[5] Lee B J.Development of an integrated digital pavement imaging and neural network system[M].The University of Lowa,2001.

[6] 初秀民,王荣本.基于不变矩特征的沥青路面破损图像识别[J].吉林大学学报:工学版,2003,33(1):1-7.

[7] Wang H,Chen Z,Sun L.Image preprocessing methods to identify micro-cracks of road pavement[J].Optics and Photonics Journal,2013,3(3):99-102.

[8] Nejad F M,Zakeri H.An optimum feature extraction method based on wavelet-radon transform and dynamic neural network for pavement distress classification[J].Expert Systems with Application,2011,38(8):9442-9460.

[9] 黄启宏,刘钊.流形学习中非线性维数约简方法概述[J].计算机应用研究,2007,24(11):19-25.

[10] 徐蓉,姜峰,姚鸿勋.流形学习概述[J].智能系统学报,2006,1(1):44-51.

[11] Seung H S,Lee D D.The manifold ways of perception[J].Science,2000,290(5500):2268-2269.

[12] Criminisi A,Shotton J,Konukoglu E.Decision Forests:A unified framework for classification,regression,density estimation,manifold learning and semi-supervised learning[J].Foundations and Trends in Computer Graphics and Vision,2012,7(2-3):81-227.

[13] Chambon S,Gourraud C,Moliard J M,et al.Road crack extraction with adapted filtering and markov model-based segmentation:introduction and validation[C]//International Joint Conference on Computer Vision Theory and Applications,VISAPP,2010:81-90.

[14] Blekas K,Likas A,Galatsanos N P,et al.A spatially constrained mixture model for image segmentation[J].Neural Networks,IEEE Transactions on,2005,16(2):494-989.

中图分类号TP39

文献标识码A

DOI:10.3969/j.issn.1000-386x.2016.02.036

收稿日期：2014-08-20。石陆魁，副教授，主研领域：机器学习，数据挖掘。党磊，硕士。杨璐，讲师。师胜利，讲师。