APP下载

深度卷积网络支持下的遥感影像井盖部件检测

2019-09-05杨梦圆尹鹏程

测绘通报 2019年8期
关键词:井盖部件卷积

杨梦圆,刘 伟,2,尹鹏程,谢 梦

(1. 江苏师范大学地理测绘与城乡规划学院,江苏 徐州 221116; 2. 资源与环境信息系统国家重点实验室, 北京 100101; 3. 徐州市国土资源局,江苏 徐州 221006)

城市部件普查是现代化城市管理发展的必然要求。目前大多数城市部件调查依然利用全站仪等原始测量方法人工采集。为了减少人力和时间投入,研究者提出了多种部件测量方法,主要有无人机航测、移动测量采集车、车载激光扫描等[1- 5]。以上方法在一定程度上减少了作业人员的工作量,但并没有彻底摆脱外业采集任务量大和内业加工处理复杂的弊端,而且对于车载设备,部件提取范围十分有限。在过去的几十年中,研究者已经开发了大量用于从航空和卫星图像中检测物体的方法,有基于不可变形模板和可变形模板匹配的方法[6];基于先验知识即几何信息和上下文信息的方法[7];基于图像分割和对象分类的对象检测方法[8];基于机器学习的特征提取,如定向梯度(HOG)特征[9- 11]、纹理特征、稀疏表示(SR)[12]、类Haar特征[13]、可选特征融合、降维及分类器训练[14- 16]等方法。以上方法虽然在某些特定物体检测任务中取得了一定的成功,但只能提取出浅层的特征,当需要提取更深层次的特征时,这些方法的描述能力明显不足。

2006年,文献[17]在特征学习和深度学习方面取得了突破性进展。该方法无需人工设计特征结构,通过深层次的神经网络以自动方式直接从数据提取不同尺度的高层次特征。目前,基于深度学习的目标检测可以分为两类:①two- stage检测算法,其将检测问题划分为两个阶段,首先产生候选区域(region proposals),然后对候选区域分类,这类算法的典型代表为基于region proposal的R- CNN系算法,如R- CNN[18]、Fast R- CNN[19]、Faster R- CNN[20]等。②one- stage检测算法,其不需要region proposal阶段,直接产生物体的类别概率和位置坐标值,比较典型的算法如YOLO[21]和SSD[22]。虽然Faster R- CNN、YOLO和SSD在猫、狗、汽车及人等在自然场景中的检测取得了较好的效果,但对于像井盖部件这样的小目标,在遥感影像中的检测还是一个较大的挑战。主要原因是遥感影像中的井盖即使在0.1 m×0.1 m分辨率的高分影像中,其宽度也仅有5~8个像素,而Faster R- CNN、YOLO和SSD等深度学习方法对于井盖这样的小目标经过多次降采样,输出特征仅有初始图像的1/16,导致其难以有效地检测小目标物体。HED[23]是一种多尺度、多融合的网络,可以从多个层次提取目标信息。本文对HED网络进行改进,并在其尾部添加两层卷积匹配,构建HED- C网络,可以有效检测各种不同大小的井盖部件,实现端到端的井盖目标检测,有效提高城市井盖部件目标检测的效率和精度。

1 HED- C目标检测网络

HED- C通过对HED进行改进而成,HED本质上是一个边缘检测网络,可以较好地检测出物体边缘。HED基础网络采用VGG16网络模型。HED能够从多个尺度产生预测,其架构包括一个具有多个侧输出的单流深度网络,类似于深度监督网络,隐藏层监督可以改善图像分类任务的优化和泛化,如果需要统一输出,多侧输出还可以灵活地添加额外的融合层。在对HED边缘检测网络进行改进的基础上,在其尾部增加了两层进行卷积匹配,实现井盖目标的高精度检测,改进后的HED- C网络结构如图1所示。由于检测目标是非常小的城市井盖部件,使用1×1小卷积核、尾部裁剪和保持输入大小对HED网络进行了改进,确保每一层特征输出不随深度的增加而急剧减少。具体原因如下:①由于检测目标井盖较小,通过使用1×1的卷积核,一方面可以减少卷积参数;另一方面可以增加网络容量和模型复杂度,更有效地进行小目标检测。②HED的侧输出层(side- output)连接在VGG16的最后一层卷积层上,分别为C1_2、C2_2、C3_3、C4_3、C5_3,即使在采用1×1卷积核的情况下,在C5_3之后的池化层,其输出大小也仅有初始输入图像的1/32,对于井盖这样的小目标完全无法适用,因此剪除了网络的全连接层和SoftMax层,包括C5后面的池化层。③把VGG16每一组最后一个卷积层的特征输出,由于每一组得到的卷积特征尺寸是不一样的,通过转置卷积(transposed convolution)对每一组得到的特征进行扩展,可以使特征输出保持输入大小,更好地适应检测井盖这样的极小目标。为充分利用隐藏监督层对边缘效果的增益作用,HED- C保留了HED网络的隐藏深度监督和多侧输出结构。同时,新加入的卷积层的感受野与输出层的感受野一致,用于目标物体特征匹配。加入两层卷积有两点原因:①HED网络检测后,大幅减少了井盖部件的复杂度,在其后连接卷积层更容易实现目标检测;②整个检测网络形成一个连通的整体,可实现端到端的检测。

2 试验与分析

2.1 试验数据与平台

遥感影像数据来自江苏省镇江市2017年0.05 m空间分辨率的航摄影像。已有该地区所有的井盖部件调查成果文件(矢量点),可以方便地对影像中的井盖进行样本批量标注。考虑到GPU处理效率和井盖尺寸,相邻影像重叠率设置为5%,影像尺寸裁剪为300~1024像素,丢弃没有井盖目标的图像块。批处理后的影像共有2382块(共有井盖目标23 252个),其中的1500块影像作为训练数据集,500块影像作为验证数据集,其余382块影像作为测试数据集。本试验基于深度学习框架caffe进行,并在配备2个GPU的服务器上执行。Mini- batch大小设置为10,学习率设置1e- 6,每个侧输出层的损失权重αm设置为1,动量设置为0.9,初始化侧输出层权重设置为0,初始化融合层权重设置为0.2,权重衰减值设置为0.000 2,训练迭代次数为10 000,在5000之后将学习率除以10。

2.2 试验结果与分析

图2为HED- C网络的6个输出层所检测的遥感影像信息,可以明显看出,侧输出层1—5的细节详尽程度越来越低,第6层融合层边缘明显且保留部分细节信息。出现这样的结果是由于HED- C网络本身就是多尺度融合网络,随着Side- output层感受野不断变大,造成局部细节信息的逐渐减少,融合层由于获得了多尺度信息使得局部细节得以保留。

表1是7种不同方法的定量比较结果,表1中,(Ours- fuse为仅利用最后一层融合层的检测结果;Ours- fusion2为井盖目标在side- output1、side- output2、side- output3、side- output4、side- output5和融合层中出现2次的融合结果;Ours- fusion3,Ours- fusion4依次类推)采用查准率、召回率和F1- score 3个指标进行比较:①与FasterR- CNN相比,YOLOv3的检测查准率和FasterR- CNN相近,YOLOv3在召回率和F1上稍有提高。SSD召回率最高,但精度最低。在查准率和召回率的综合考量下,YOLOv3井盖检测结果最好,因其采用了Darknet- 53深层网络作为基础网络,可以得到遥感影像更多的局部细节。②由于井盖部件尺寸较小,与其他3种检测方法相比,通过多个侧输出层融合的方法可以显著提高井盖目标检测的性能,实现井盖目标的最优或次优目标检测,这说明本文方法对于井盖这样的小目标检测是有效的。7种方法相比,Ours- fusion 4获得最优检测查准率,Ours- fusion 2获得最佳检测召回率。这说明井盖部件出现4次的融合结果可以有效地提高目标检测的查准率,但对井盖部件召回率有较大影响;井盖部件出现2次的融合结果可以有效地提高井盖部件检测召回率,但对井盖部件查准率有较大影响。综合考虑,井盖部件出现3次融合的效果最好,检测查准率、召回率和F1- score有较好的综合表现,这是由于大多数井盖部件在5个侧输出层和1个融合层中出现3次。

表1 7种检测方法的结果比较

井盖部件的检测结果如图3所示。方框表示检测到的井盖部件,有些井盖部件密集出现,而且周围背景较为复杂,通过该方法可以较好地检测出大部分井盖部件,验证了本文方法的有效性。

3 结 语

遥感影像中的目标检测在军事和民用领域都起到至关重要的作用。然而,由于光照、阴影、极化、视角等导致的物体变化,使得遥感影像的目标提取具有高度复杂性。本文通过改进边缘检测网络,提出HED- C网络模型,使得井盖目标能够多尺度、多水平地特征响应和输出,提高小目标的检测能力,而且可实现端到端的目标检测。该网络模型对遥感影像获取形状小目标(井盖部件)的准确率和召回率有较大提高,在遥感影像上表现出优良的检测效果,其中,召回率可达92.72%,查准率可达86.40%。通过本文方法可以较好地提高井盖部件提取的效率和精度,为数字化城管提供高精度井盖部件数据。

猜你喜欢

井盖部件卷积
基于3D-Winograd的快速卷积算法设计及FPGA实现
一种并行不对称空洞卷积模块①
奥迪e-tron纯电动汽车的高电压部件(下)
一种陀飞轮表的双秒轮结构
现代汉字的两种分析法与国家文字规范(四)
从滤波器理解卷积
小井盖学问大
基于傅里叶域卷积表示的目标跟踪算法
找井盖
古文字中“口”部件的作用研究