陈城，史芙蓉，许海源，林华盛，江万寿



基于卷积神经网络的架空铁塔护坡提取＊

陈城1，史芙蓉2，许海源1，林华盛1，江万寿2

（1.深圳供电局有限公司，广东 深圳 518000；2.武汉大学测绘遥感信息工程国家重点实验室，湖北 武汉 430079）

以深圳电力线巡线时所获得的高分辨率航空影像为例，提出了基于集成卷积神经网络的架空铁塔护坡自动提取方法。该方法首先通过Faster R-CNN目标检测网络在多幅航空影像中框取护坡目标，然后通过SegNet语义分割网络进一步分割目标框中的护坡与背景，获取精确的护坡掩膜信息。与直接应用SegNet模型的“一步式”护坡提取方法相比，“先定位后分割”的方法在2个实验数据上的虚警率下降超过38.1%；与基于Mask R-CNN卷积神经网络提取方法相比，该方法在2个数据上的正确率均高于98%，优于Mask R-CNN所达到的95.96%.

架空铁塔护坡；卷积神经网络；目标检测；语义分割

护坡是为防止边坡受冲刷，在坡面上建设的各种铺砌和栽植的统称，被广泛应用于电力工程中，是电力设施数据库的一类基本要素，在对输电线路塔基边坡状态进行检测防护、确保输电线路安全运行的过程中发挥重要作用[1-2]。极端天气、工程活动等因素会对护坡的稳定性造成影响，诱发边坡灾害，架空输电塔基周围的边坡灾害则危及输电线路传输，传统的护坡监测方法通过传感器数据分析护坡状态[3]。随着遥感技术手段的发展，通过摄影测量技术手段，能够恢复电力走廊的三维信息[4]，从而对边坡的面积、坡度和状态进行探测，为输电线路塔基边坡监测提供了新思路，而基于航空影像的架空铁塔护坡提取是护坡重建和监测的基础。

遥感领域常用监督式的机器学习方法进行目标提取，葛广英[5]将帧差法与支持向量机相结合，从视频图像序列中检测和分割运动车辆；Mo G等[6]提出了一种基于SIFT特征和Boosting分类器的车辆检测方法，来减弱背景差异对目标提取的影响。传统的监督训练方法通过多种特征的设计和组合描述对象的结构信息，对简单场景能取得较好的效果，然而，特征的设计和选择需要依赖于操作人员，且浅层特征难以准确表达目标的深层结构，难以处理复杂的多场景任务。深度学习突破传统监督方法的局限，能自动学习不同层次的抽象特征，当前深度学习方法逐渐应用于基于图像的船只、飞机等目标识别领域，并在多类场景下取得了较好的效果[7-8]。但是，基于航空影像的电力线、塔附近的边坡提取，由于应用场景和提取目标特殊尚未受到广泛关注，因此，本文提取出了集成卷积神经网络的方法，先后建立护坡定位、分割模型，实验结果表明该方法能够准确地提取出影像中的护坡，为护坡智能提取问题提供了一种行之有效的解决方案。

1 关键技术与流程

1.1 总体技术流程

架空铁塔护坡提取流程如图1所示。

图1 架空铁塔护坡提取流程

本文的架空铁塔护坡提取总体技术流程如图1所示，主要包括模型训练和模型应用两部分，模型训练包括护坡检测模型训练以及护坡分割模型训练，模型应用时对航空影像先后加载训练好的检测模型和分割模型，精确地提取出架空铁塔护坡这一目标。

1.2 架空铁塔护坡检测模型

本文采用Faster R-CNN卷积网络[9]训练护坡检测模型。Faster R-CNN处理过程如图2所示，Faster R-CNN由区域生成网络（Region Proposal Network，RPN）和Fast R-CNN[10]两个子网络构成，RPN根据训练数据集产生可能包含目标的候选框，Fast R-CNN对候选框进行分类和回归得到目标所在准确位置。

图2 Faster R-CNN处理过程

1.2.1 特征提取

卷积神经网络本质上是一种输入到输出的映射，能够学习大量输入与输出之间的映射关系，采用局部权值共享的特殊结构降低了网络的训练参数，使其布局更接近于实际的生物神经网络，在图像处理方面有着独特的优越性。

本文的Faster R-CNN采用VGG16网络提取特征，相比于LeNet、AlexNet、ZFNet网络，VGG16网络层次更深，能获取更好的特征。

1.2.2 RNP

RNP网络结构如图3所示。

图3 RNP网络结构

用一个大小为3×3的卷积核作为滑动窗口在特征图上进行卷积，每个滑动窗口的中心对应9个锚点，每个锚点对应不同的尺度和长宽比，即在每个位置都会预测9个候选框；将卷积后得到的512维特征向量输入2个全连接层，得到每个候选框的类别（目标或背景）和位置信息，保留与真实目标框重叠度大于0.7（正样本）和小于0.3（负样本）的候选框，并用非极大值抑制法将候选框的数量控制在300个。

1.2.3 Fast R-CNN

在RNP阶段，产生没有类别信息的候选框，通过Fast R-CNN中的ROI池化层为每个候选框提取特征，即用每个候选框裁剪卷积特征映射，然后用双线性插值将裁剪后的映射调整14×14的固定大小，并用最大池得到最终7×7的特征映射；Fast R-CNN最后用全连接输出每个对象可能的类别的分数，赋予候选框类别信息。

1.2.4 模型训练

Faster R-CNN包括了RNP和Fast R-CNN两个网络，通过共享卷积层减少网络参数，采用了交替训练的方式，训练步骤如下：①利用在ImageNet目标分类数据库上进行训练得到的模型初始化RPN参数，在架空铁塔护坡训练数据集上独立训练RPN，训练80 000次。②同样用ImageNet模型初始化Fast R-CNN参数，利用上述得到的候选框作为输入训练Fast R-CNN，训练40 000次。③用上述步骤得到的参数初始化RPN的网络，把RPN与Fast R-CNN共享的卷积层的学习率设为0，仅更新RPN特有的网络层，重新训练，训练80 000次。④用上述步骤得到的参数初始化Fast R-CNN的网络，不改变共享层，微调其全连接层，训练40 000次，建立Faster R-CNN模型。

1.3 架空铁塔护坡语义分割模型

SegNet网络是一种具有编解码结构的图像语义分割深度卷积神经网络[11]，SegNet的总体结构如图4所示，它拥有一个编码网络和与之对应的解码网络，将最后一个解码器的输出送入像素分类器中，每个像素产生类概率得到分割结果图。

图4 SegNet网络结构

1.3.1 编码器

SegNet的编码器包括卷积层、批归一化层、激活层以及池化层，每组编码器产生一组特征图及对应最大池化层的索引值。

1.3.2 解码器

在解码器中，根据保存的索引值信息，对输入的特征图进行采样，得到稀疏的特征图，然后用一组可训练的解码滤波器组对这些稀疏的特征图进行卷积操作，从而得到稠密的特征图；最后一层解码器输出一组与输入图像相同维度的特征图，这些特征图最终被送进一个为像素点分类而设计的Softmax分类器中，Softmax分类器输出具有个通道，并输入图像尺寸相同的概率图，值为类别个数，概率值最大的类别即为该像素点的类别，从而实现像素级别的语义分割。

1.3.3 模型训练

利用在ImageNet模型初始化SegNet中编码器及解码器网络参数，采用随机梯度下降的参数训练策略，学习率固定为0.001，卷积核大小为7×7，迭代次数设置40 000次。根据Faster R-CNN模型检测出的架空铁塔护坡图像，制作语义分割样本库，语义分割样本库由裁剪后的检测图像及其对应的标注图像组成，标注结果为二值化灰度图像，0为背景，1为护坡。由于检测图像较大，为了解决显卡显存不足的问题，需要将其及对应的灰度图像裁剪，将该样本库输入SegNet网络，建立护坡语义分割模型。

2 实验结果及分析

2.1 实验准备

本文实验在Ubuntu下用GPU进行加速计算，Faster R-CNN和SegNet在Caffe这一主流深度学习框架下运行。实验中的实验数据通过无人机低空遥感技术获取，包括不同光照、不同拍摄角度、不同背景等情况下的护坡无人机高分辨遥感影像，影像地面采样距离约为0.5 m，影像大小为6 000×4 000或者4 000×6 000，影像中的护坡与架空铁塔相邻，周围地区主要被植被、道路、裸土、田地等覆盖。

2.2 护坡定位与分割

用已完成训练的Faster R-CNN模型检测护坡，确定护坡位置，将候选区域集满足以下2个条件的区域确定为护坡：①分类概率大于0.8；②该区域分类概率比所有有重叠部分取得的分类概率都高，即该区域分类概率是一个局部最大值。护坡检测结果如图5所示，黑色框为护坡的检测框，可以看出该检测框完整包含了护坡，且大大降低了背景的干扰。

图5 护坡定位结果

完成检测后，根据检测框得到检测影像，用已完成训练的SegNet模型对该影像进行分割，并根据检测框坐标将分割影像定位至原图像中，分割结果的掩模结果如图6所示。

图6 护坡分割掩模结果

2.3 实验对比与分析

本文与SegNet网络直接对原始影像分割的方法进行对比，验证了“先定位后分割”的优越性，并与文献[12]中的Mask R-CNN方法进行实验对比，Mask R-CNN方法与本文方法相似之处在于都遵循“先定位后分割”的思路，不同之处在于本文方法采用串联的卷积神经网络训练方法，检测模型在原始图像提取的特征上训练，分割模型在检测图像提取的特征上训练，而Mask R-CNN采用并行的卷积网络训练方法，检测模型和分割模型同时在原始图像提取的特征进行训练。护坡提取结果对比如图7所示。

实验结果的评价分为定性评价和定量评价。为了度量护坡提取精度，本文采用基于像素数量误差的定量精度评价方法，将正确率d和虚警率f作为评价标准，定量评价指标计算公式如下[13]：

式（1）（2）中：t为提取的理想护坡像素总数；C为采用深度卷积神经网络方法被正确提取的护坡像素数量；f为采用深度卷积神经网络方法被误分为护坡的像素数量。评价结果如表1所示。

表1的统计数据表明，直接对原始影像进行分割的方法虚警率非常高，而本文提出的方法明显降低了虚警率，且正确率和虚警率均优于Mask R-CNN的方法，平均正确率比Mask R-CNN的高出3.00%，平均虚警率低了0.38%，说明该方法能更加准确地提取出护坡。

3 结束语

针对无人机影像护坡提取这一需求，本文利用卷积神经网络能自动学习图像本质特征的优势，提出了基于Faster R-CNN+SegNet集成卷积网络的架空铁塔护坡提取方法，该方法遵循“先定位后分割”的路线。定位后的护坡图像降低了护坡背景的复杂度，使护坡在图像中占据主要地位，有利于进行后续护坡的提取工作。与Mask R-CNN相比，重新训练定位后的图像特征，能更加准确地对护坡本质进行表达。实验表明采用本文提出的方法能准确地从复杂场景中提取出护坡，这为护坡以及其他本身具有一定规律特征而所在背景复杂多样的地物（比如居民地）的提取提供了一个参照方法。

注：（a）（b）两组图中的第一幅图都为人工标注提取结果，第二幅图都为只用SegNet提取结果，第三幅图都为Mask R-CNN提取结果，第四幅图都为本文采取的Faster R-CNN+SegNet提取结果。

表1 精度对比

实验数据方法正确率/（%）虚警率/（%） 数据1SegNet98.6659.34 Mask R-CNN95.812.10 Faster R-CNN+SegNet98.431.53 数据2SegNet99.1439.28 Mask R-CNN95.961.30 Faster R-CNN+SegNet99.341.10

［1］裴慧坤，周伟才，周荣林，等.架空铁塔边坡状态监测技术的研究［J］.中国新技术新产品，2013（24）：37-38.

［2］曾川峰.山区高压电力铁塔基础边坡治理［J］.低碳世界，2015（35）：23-24.

［3］辛红园. 爆破对邻近高边坡顶铁塔的影响研究［D］.重庆：重庆交通大学，2016.

［4］裴慧坤，姜三，林国安，等.依托无人机倾斜摄影的电力走廊三维重建［J］.测绘科学，2016，41（12）：292-296.

［5］葛广英.基于SVM的车型检测和识别算法［J］.计算机工程，2007（06）：6-8，11.

［6］Mo G，Zhang Y，Zhang S，et al. A Method of Vehicle Detection Based on SIFT Features and Boosting Classifier［J］.Journal of Convergence Information Technology，2012，7（12）：328-334.

［7］欧阳颖卉，林翬，李树涛.基于卷积神经网络的光学遥感图像船只检测［J］.包装工程，2016，37（15）：1-6.

［8］戴陈卡，李毅.基于Faster RCNN以及多部件结合的机场场面静态飞机检测［J］.计算机应用，2017，37（S2）：85-88.

［9］Ren S，He K，Girshick R，et al.Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks［J］.IEEE Transactions on Pattern Analysis & Machine Intelligence，2015，39（06）：1137-1149.

［10］Girshick，Ross.“Fast r-cnn.”［J］.Proceedings of the IEEE International Conference on Computer Vision，2015.

［11］Badrinarayanan V，Handa A，Cipolla R.SegNet：A Deep Convolutional Encoder-Decoder Architecture for Robust Semantic Pixel-Wise Labelling［J］.Computer Science，2015.

［12］He K，Gkioxari G，Dollár P，et al.Mask R-CNN［C］//IEEE International Conference on Computer Vision. IEEE，2017：2980-2988.

［13］曹建农，王平禄，董昱威.高分辨率遥感影像上居民地自动提取方法［J］.武汉大学学报（信息科学版），2014，39（07）：831-837.

〔编辑：张思楠〕

深圳供电局科技项目（编号：090000KK52160017）

2095－6835（2018）19－0038－04

TM753

A

10.15913/j.cnki.kjycx.2018.19.038

陈城（1989—），男，湖南湘潭人，工程师，主要从事架空输电线路技术研究。