梅 超，曹 凯，王 杰，李亚伟

(山东理工大学 交通与车辆工程学院，山东 淄博 255049)

基于航拍图像的道路提取算法

梅 超，曹 凯，王 杰，李亚伟

(山东理工大学 交通与车辆工程学院，山东 淄博 255049)

针对航拍图像中的检测道路问题，提出了一种多方法融合的道路提取算法.该算法根据建立的颜色模型，应用图像分析技术分析道路的连接特性和宽度特征.运用Hough变换提取图像中道路像素，使用交集处理方法去除图像中的噪声.通过道路阴影颜色分析，噪声分类处理以及道路修复等技术，快速高效地从复杂的航拍图像中提取出道路.实验结果表明，与现有的道路检测方法相比，该算法具有检测准确、效率高等优点.

道路提取；Hough变换；图像去噪；航拍图像

近年来，继航空遥感之后，采用无人机检测已成为道路交通监测研究热点.无人机航拍与遥感相比有下几个方面的特殊性和优势：航拍可以快速灵活地获取现场信息；航拍图像分辨率更高，依据相机不同可达到米级、厘米级；航拍图像以可见光为主，波段较少，色彩比较逼真.此外，与遥感图像相比，航拍图像受环境影响较小，适用于追踪复杂环境中的目标.由于遥感数据量巨大，给数据的存储、处理和应用带来较多困难.而无人机可针对感兴趣的局部环境进行航拍，避免了常规调查的盲目性和无效工作，因而数据量小，易于存储和处理，且图像稳定，精度较高.所以适合利用无人机航拍技术进行交通监控.

对航拍图像道路提取已有许多研究：Gruen A,Li H等提出了利用动态规划的最小二乘B样条模型算法提取图像中道路目标[1]；Baumgartner A,C.Steger, H.Mayer.利用道路中上下文关联特征进行道路提取[2],但是需要获取多种分辨率的遥感图像,实用性不强；Peter D 采用聚类的方法对已分割的图像中的道路中心线进行提取[3],但是对图像分割的精度要求很高也没有充分利用道路的特征；结合光谱特征与形状特征利用数学形态学的方法提取道路[4],此类方法主要还有 snake 模型、高阶主动轮廓、基于数学形态学、模板匹配等；也有学者利用近些年来提出的面向对象分类方法来提取道路[5-6].为了提取空间目标的运动和结构信息，SHI W Z邓提出了基于光流预测的空间目标序列的线段匹配方法[7]；傅罡等提出了曲折道路遥感影像圆投影匹配改进追踪法[8].上述方法各有利弊,但都无法很好地解决从航拍图像中提取道路的问题.

大多数道路提取方法都基于高质量的图像信息，即图像含有的噪声越少提取的道路信息越完整.本文针对小型无人航拍图像中道路检测容易受到建筑物、道路阴影以及其他噪声的干扰，提出了一种快速提取道路的算法.

1 道路特征分析

道路系统是一个非常复杂的系统.它既没有固定的形状，也没有统一的颜色.唯一重要的特点是连接特性和宽度特征.

航拍图像中的道路易受到非道路因素的干扰，可以把干扰分为3种类型：

(1)房屋屋顶.它主要分为两种:小型建筑屋顶和大型建筑屋顶.，因为屋顶颜色不同所以小型建筑屋顶很容易与道路区分.由于光的反射，屋顶和道路有着相似的光谱特性，所以在二进制图像中屋顶就变成了噪声.多数大型建筑的屋顶与道路采用了相同的建筑材料，它们具有相同的光谱特性，导致了在二进制图像中产生了大的噪声.

(2)与道路连通的开放区域，如小型停车场，篮球场等.因为光谱特性相同，所以在二进制图像中很难与道路区分.然而，由于开放区域的面积大于道路，利用面积特性可以有效去除噪声.

(3)道路上的噪声干扰，比如阴影和车辆.这种噪声直接影响路面，它影响道路的两个重要特征(宽度特征和连通特征).尤其是公路旁的树木遮挡以及建筑的阴影将严重影响道路的宽度特征，有时甚至破坏道路的连通性.

2 道路提取方法

2.1 获取道路阈值

霍夫直线检测作为直线提取的经典算法，被广泛应用于直线检测领域.霍夫变换基于以下思想：对于点(xi,yi)，直线方程yi=axi+b可以描述所有通过该点的直线.若改写该式为b=-xia+yi，并考虑参数平面ab平面，此时对每一个固定点(xi,yi)唯一确定一条直线，称作直线l1.同理，另一点(xj,yj)在参数平面上也可以确定一条与之相关的直线l2，l1与l2相交于点(a',b')，其中a'和b'分别是xy平面上包含点(xi,yi)和点(xj,yj)的直线的斜率和截距.事实上，直线l1上的所有点都可以确定一条直线，这些直线在参数空间都经过点(a',b').这种关系如图所示.根据这样的特点，xy平面上的一个像素点映射到ab平面上就成为了一条直线.

霍夫变换利用图像空间中线与霍夫参数空间中点的对应性，用参数空间实现图像空间中直线的检测，通过在霍夫参数空间中完成简单的累加统计并寻找累加峰值的方法，来达到直线检测的目的.其实质是将图像空间中具有某种相关性的像素进行聚类，然后再想办法找到一种解析形式将这些像素联系起来的参数空间累计对应点.

(a)xy平面映射关系 (b)ab平面映射关系图1 参数平面映射关系Fig.1 The parameter plane mapping relationship

在航拍图片中， 受许多外界因素影响如光照强度、能见度等，每张图片的道路颜色均不同，因此根据不同图像调整参数.为了提前获取道路参数，首先需要计算道路颜色的平均值，然后把这个平均数传输给主程序作为分割阈值.原始图像是一个未知的图像，很难找出道路颜色的平均值.因此，随机选择一些道路图像作为样本，计算道路颜色平均值.

首先，选取一个较小阈值，把样本图像转换成二进制图像.利用Hough变换方法提取图像中直线.选取的直线要大于等于150个像素并且道路不能有破损.通过使用霍夫变换可以找出3条直线，并且满足上述条件.记录下二值图像中这三条直线的坐标位置，然后在样本图像中找到这三条直线对应的坐标位置，计算出这些点的平均值，并把计算的平均值作为提取道路主程序的阈值.

2.2 图像预处理

在二值图像中道路区域受到了大量噪声干扰，许多建筑屋顶经过二值化处理后和道路颜色一样，因为受到阴影的影响，道路图像变得支离破碎.所以图像预处理显得尤为重要，图像预处理的好坏直接影响到后面的实验结果，要尽可能去掉噪声并保留道路信息.但并非去掉的噪声越多越好，因为噪声中包含着许多有用信息并且程序是不可逆转的，一旦去除了过多的噪声，在后面的道路修复中就变的非常困难.

仅仅通过二值化方法很难获得完整的道路区域，还需解决去除由建筑屋顶产生的噪声和修复破损的道路两个问题：

在二进制图像中建筑屋顶是一个比较大的噪声，但是在彩色图像中它们和道路颜色并不相同.

在彩色图像中，有三个颜色通道：红色、绿色和蓝色，每个通道值的范围是0 ～ 255.当这三个颜色值接近时会成为灰色图像，例如RGB(20，21，22)、RGB(134，130，136).取一个阈值来比较这三个通道的值，如果差异小，在灰度图像中该像素标记为灰色，在二进制图像中标记为白色；否则，在灰度级别中该像素标记为彩色，在二值图像中标记为黑色.灰度图像和二值图像取并集去除由建筑屋顶产生的噪声.

由于阴影面积很大，道路被严重破坏，很难判断这是不是一条道路.本文给出了解决这一问题的一个简单方法.道路上阴影的颜色并不是用肉眼看到的黑色或灰色，实际上他们是蓝色.所以在RGB图像中阴影在蓝色通道的数值略高于其他两个渠道20到40左右.

图2 RGB空间中B分量中的影子图像Fig.2 The shadow image in the B component of RGB space

在RGB空间中提取出B分量，并根据B分量颜色直方图选取合适的阈值，由B分量颜色直方图可知当取峰值(Fmax=76)时效果最好.在二值图像中的B分量(影子图像)中很容易区分出了含有阴影的部分.因此，设定一个阈值，当阳光强烈、阴影明显时可以通过此步操作完善道路，反之则跳过此步.灰度图像和二值图像做交集后的图像与影子图像合并，得到道路轮廓图像.

2.3 去噪处理

经过预处理后的图像包含的噪声可以分为三类：

1) 小噪声 其特点是噪声像素点的个数小于50个并且与道路像素点断开，通常由突出的物体或树叶及其它物体反射而成.

2) 较大噪声 其特点是噪声像素点的个数大于50个并且与道路像素点断开，通常由小型或中型屋顶反光而成.

3) 大噪声 其特点是与道路像素点连通，通常由一些空旷的开阔区域或小型停车场组成.

对于第一种噪声，计算出噪声点像素的个数，如果像素个数小于50，利用像素点个数的特征直接删除掉.

绝大多数道路都成长条状，房屋屋顶的形状类似于矩形.对于同等面积的长条型和矩形，长条形的周长要长得多.所以，用周长与面积的比值(LS值)来区分第二种噪声与破损的路段.实验结果表明当LS值取0.056时可以有效的去除类似矩形(屋顶)的噪声，当LS值小于0.056时该区域为噪声(ZS)，当LS值大于等于0.056时该区域为道路(DL).

(1)

第三类噪声特点是噪声与道路连通，利用道路的宽度特性来去除噪声.判断这类噪声是否满足道路宽度特性.计算每一个像素点到边缘的长度判断这个像素点是否在道路里面.

取射线长度分别为40、50、60、70、80、90，以及取10个、20个、40个和80个方向(360度均分).实验结果表明，当射线长度取70个像素、取40个方向时实验效果最好，在所有射线中，最短的射线是道路的宽度，最长的射线则是我们所取道路的长度.把最短射线长度Lmin与最长射线长度Lmax的比值B作为判断该像素点是否在道路上的标准，B的值非常小，当像素点在道路上时它的比值应该很接近于标准值B，否则就不在道路上.

B=Lmin/Lmax

(2)

(3)

式中:1表示在道路上;0表示不在道路上;Bij表示某一点最短射线长度与最长射线长度比值.

2.4 修复道路

经过上文处理后的图像可以发现道路是不完整的，由于树木遮挡或拍摄角度等问题，导致部分路段被遮挡.

在此步操的主要目的是修复破损的道路.其基本原理是根据道路的连通特性检测间断点.算法中设计了一条长度为70个像素的射线，并选取40个不同方向(360度均分)，利用射线寻找含有大量白色像素的像素点.如果某一条射线含有的白色像素点多余40个，就判断为道路间断点，用白色覆盖该点.如果该射线含有的白色像素点少于30个，那么就判断这不是道路上的像素点，用黑色覆盖该点.

(4)

式(4)中1为道路上的像素点，并用白色像素覆盖，0为道路上的像素点，Number_white(pij)为某一点发出的射线所含白色像素的个数.

根据上述描述，航拍图像道路提取可以简要概括为以下8个步骤.

Step 1 输入原始道路航拍图f1(x,y)

Step 2 用Hough变换得到航拍图像道路像素平均值MeanVale，并作为分割阈值得到二值图像f2(x,y).

Step 3 由于带颜色建筑屋顶在二值图像f2(x,y)和灰度图像f3(x,y)中表达方式不同，通过f2(x,y)∩f3(x,y)操作，可以有效去除屋顶噪声，去噪后图像为f4(x,y).

Step 4 在RGB图像中阴影在蓝色通道的数值略高于其他两个渠道20到40度左右，取B分量颜色直方图峰值作为阈值Fmax，得到影子图像f5(x,y)，通过f4(x,y)∪f5(x,y)操作去除道路阴影，去除阴影后图像为f6(x,y).

Step 5 判断噪声大小，并根据上文三种不同的去噪方法得到去噪后图像f7(x,y).

Step 6 根据某一像素点发出射线中白色像素点的个数Number_white(pij)，得到修复后的图像f8(x,y).

Step 7 输出提取道路后的图像f8(x,y).

Step 8 重复Step 3～Step 7.

3 实验结果及分析

实验图像为DJI多旋翼无人机拍摄，图像大小为1024×681，如图3所示.

图3 航拍原始图像Fig.3 The original image

根据实验样本得到的分割阈值把原始图像转换为二值图像，由于与道路颜色不同的建筑屋顶在二值图像中和灰度图像中的表现形式不同，二者做交集运算可以有效去除彩色噪声，把得到的二值图像再与影子图像做并集运算，可以有效的填补由于树木阴影等产生的空洞，如图4所示.

在图4的基础上进行去噪处理以及道路修复，实验结果如下图5.

由图5中可以看出，经过上述4步处理成功的从航拍图像中提取了道路，图像中的大小噪声以及阴影完全被去除，虽然道路网有部分残缺，但根据文献[11]给出的提取道路准确度的定义“准确度=正确提取的道路长度/道路总长度×100%”，本文算法提取道路的准确度为93.1%.

4 结束语

本文提出了一种多方法融合的航拍图像道路提取算法.该算法利用Hough变换提取道路阈值，在此基础上结合多种去噪方法，有效的去除了道路阴影和各种噪声并修复了破损的道路，成功的从航拍图像中提取出了道路.实验表明，在复杂的道路环境中，该算法能有效的去除各种非道路信息.但从实验结果中可以看出，在道路修复环节中，无法有效的修复弯曲道路，该算法还需进一步改善.

图4 去除道路阴影后的二值图像Fig.4 Remove the binary image after the road shadow

图5 道路检测图像Fig.5 Road detection image

[1]GRUEN A, LI H. Semi- automatic linear feature extraction by dynamic programming and LSB-snakes[J].Photogrammetric Engineering and Remote Sensing, 1997, 63(8):985-995.

[2]BAUMGARTNER A,STEGER C,MAYER H. Automatic road extraction based on multi-scale, grouping, and context[J].Photogrammetric Engineering and Remote Sensing, 1999,65(7):777-785.

[3] PETER D, PEGGY A.Self-organised clustering for road extraction in classified imagery[J]. Journal of Photogrammetry and Remote Sensing, 2001(55):347-358 .

[4]罗庆洲,尹球,匡定波.光谱与形状特征相结合的道路提取方法研究[J].遥感技术与应用, 2007,22(2):339-344.

[5]唐伟,赵书河,王培法.面向对象的高空间分辨率遥感影像道路信息的提取[J].地球信息科学, 2008,10(2):257-262.

[6]胡进刚,张晓东,沈欣,等.一种面向对象的高分辨率影像道路提取方法[J].遥感技术与应用, 2006,21(3):184-188.

[7]SHI W Z,ZHU C Q. The line segment match for extracting road network from high resolution satellite images [J]．IEEE Transaction on Geoscience an Remote Sensing,2002,40(2):511-514.

[8]傅罡,赵红蕊,李聪,等. 曲折道路遥感影像圆投影匹配改进追踪法[J].测绘学报,2014,43(7):724-730.

Aroadextractionmethodbasedontheaerialimage

MEI Chao， CAO Kai， WANG Jie， LI Ya-wei

(School of Transportation and Vehicle Engineering，Shandong University of Technology，Zibo 255049，China)

In order to detect the roads in the aerial images more accurately， a road extraction algorithm composed by several methods was proposed. First， an image analysis technology was used to analyze the connectivity feature and width feature of the road based on a color model. Then， the road pixels were extracted through the method of Hough transform. Next， the intersection processing method was used to eliminate the noise in the image. At last， the road was extracted from the complex aerial images through the road shadow color analysis， noise classification processing and road renovation technology quickly and efficiently. The experimental results show that the algorithm is more accurate and efficient compared with the existing road detection methods.

road extraction；Hough transform；eliminate noise; aerial image

2016-11-07

国家自然科学基金项目(61573009)

梅超，男，862895655@qq.com；

曹凯，男，caokailiu@sdut.edu.cn

1672-6197(2018)01-0005-05

TP391

A

(编辑：刘宝江)