王之博 赵双明

1 武汉大学遥感信息工程学院，湖北 武汉，430079

无人机具有快速灵活、实时性强的特点［1］，常被用作遥感平台以快速获取多方位、高分辨率的实景影像。无人机影像上交通标志自动检测与识别是研究智能交通的重要内容［2］，对建设具有真实纹理的三维场景也具有重要的意义［3，4］。同一类型的标志通常具有相同的形状和颜色，这为交通标志的检测和识别提供了便利。

近年来，深度学习方法被广泛应用于图像分类、检测和分割。基于区域的卷积神经网络（region⁃based convolution neural network，R⁃CNN）是第一个可以真正工业级应用的目标检测解决方案。Fast R⁃CNN［5］、Faster R⁃CNN［6］、Mask R⁃CNN［7］都是在此基础上改进的。这类深度学习算法将目标检测分为提取候选框和分类两个步骤，识别错误率和漏识别率较低。

交通标志的检测和识别最早可追溯到模板匹配算法［8］。Keller等［9］利用交通标志在形状上对称性较好的特性，设计了一种径向对称的算子来提取交通标志候选区域，再使用基于Harr小波特征的级联分类器对目标区域进行分类识别。Ren等［10］在色调、饱和度、明度（hue saturation value，HSV）颜色空间对图像进行H通道阈值化分割，计算候选区域形状在目标函数与模板函数间的差异，对区域进行归类。Creusen等［11］首先提取图像在Ycb Cr空间上的方向梯度直方图（histogram of oriented gradient，HOG）特征，然后将特征向量输入训练好的支持向量机（support vector machine，SVM）分类器，以实现交通标志的分类。在德国交通标志检测基准（German Traffic Sign Detection Benchmark，GTSDB）［12］建立以来，基于深度学习的交通标志检测与识别方法得到了发展，许多研究人员在此数据集上进行实验，并达到了很高的准确度［13］。在倾斜式无人机影像中，交通标志呈现出尺寸小、形变大、尺度变化大的特点，由现有数据集训练得到的模型无法适用于无人机影像。因此，本文以自制的无人机影像交通标志数据集为基础，使用Mask R⁃CNN算法对6种交通标志进行像素级的检测与识别，并对该算法进行改进，提升掩膜的精确度。

1 Mask R⁃CNN检测算法

Mask R⁃CNN示意图如图1所示。Mask R⁃CNN检测算法包括训练模型和使用模型进行前向传播预测两个阶段。Mask R⁃CNN网络训练包括区域建议网络（region proposal network，RPN）训练，分类器训练、边框坐标回归和语义分割网络训练。在前向传播时，目标定位、目标识别及语义分割多任务同时进行。

图1 Mask R‐CNN示意图Fig.1 Diagram of Mask R⁃CNN

1.1 Mask R⁃CNN实例分割框架

Mask R⁃CNN能够在一个网络框架中同时完成目标检测和实例分割任务。第一阶段提取候选目标边框，第二阶段对候选框内目标进行分类、边框回归和分割。该算法以Faster R⁃CNN网络为基础，使用RPN结构提取候选框。Mask R⁃CNN的创新主要有以下两点：对候选框内的特征图使用感兴趣区（re⁃gion of interest，RoI）校准以及实现像素级的对齐。在分类回归阶段，Mask R⁃CNN增加了一个分割网络作为预测掩码的分支。Mask R⁃CNN使用残差网络（residual network，Res Net）提取特征，并且结合特征金字塔网络（feature pyramid network，FPN）提高对小目标的检测能力。

本文采用结合FPN的Res Net⁃50［14］作为主干网络来提取特征。FPN在处理多尺度检测问题时表现较好［15］。本文使用RPN生成候选区域，进行分类和回归，得到区域变换参数和前景分数。

1.2 增加掩膜得分策略的Mask R⁃CNN框架

在实例分割任务中，通常以分类置信度作为检测结果质量的衡量指标，这个指标不能代表分割蒙版的真实质量。实例Mask的实际质量和完整性没有参与模型优化，会降低模型的评价结果。实际上，掩膜的质量应该被量化为预测值和真实值的交并比（intersection of union，IoU），其计算公式为：

式中，I表示Io U；Sp和Sg分别表示像素级预测的掩膜和掩膜真值。

本文在Mask R⁃CNN的基础上增加了基于掩膜得分的策略，在预测掩膜的分支上增加了一个网络块来学习预测实例掩膜的质量，网络结构如图2所示。将预测的Mask和Ro I特征连接起来作为输入，网络由4个卷积层和3个全连接层组成，卷积层的核大小为3，滤波器个数为256，全连接层输出设置为1 024。使用回归损失进行训练，掩膜得分Sm计算公式如下：

图2 掩膜预测网络Fig.2 Diagram of Mask Prediction Network

式中，Sc表示分类得分；Si表示边框回归得分。

将学习任务分解为掩膜分类和Io U回归，Sc直接取R⁃CNN任务中分类分数。将该网络集成到Mask R⁃CNN中，提高分割模型的性能。该方法同时考虑了语义类别和实例掩膜的完整性，能够提高掩膜的质量和分割精度。

2 数据集与预处理

为增大样本容量，提高模型的泛化能力，本文使用数据增广的策略对自制数据集进行增强，对图片进行随机旋转和透视变换［16，17］。

数据集为大势智慧公司提供的2 000张包含道路交通标志的城市地区无人机影像。对2 000张原图进行旋转、透视变换和重采样操作，旋转角度在−10°~+10°，90°，180°间随机选取，透视变换角度在左上方、正上方、右上方随机选取，重采样缩放倍数在0.7~1倍中随机选取。实验训练数据有无人机影像训练数据3 000张，测试数据600张。图3是训练样本的示例。本文使用数据标注工具VIA对交通标志的边界以及类别进行标注。

图3 训练样本示例Fig.3 Training Samples

3 交通标志检测实验

实验使用的深度学习框架为torch1.0，显卡为RTX 2070。首先用Co Co数据集对主干网络ResNet⁃50进行预训练，然后在自制数据集上对模型继续训练，训练时长约7 h。

3.1 检测结果与分析

从测试集中选取部分图像进行测试，结果如图4所示，可以看出，对于不同尺度的交通标志，此算法均有较好的检测效果。在无人机影像被分割为小块的过程中，部分位于裁剪框边缘的标牌只能保留部分区域，如图4（e）所示，检测结果也表明此算法对不规则形状检测的鲁棒性较好。交通标志的检测错误主要集中在误检上，如在图4（f）中，集装箱的侧面被误检为交通标志。在测试过程中发现，影响精确度的主要原因为误检，干扰包括车辆、路旁堆积物等。部分尺度较小的交通标志在影像中失去了细节特征，无法进一步对标志进行分类，也是检测错误的原因。此外，影像中尺寸较小的标志往往没有清晰的边界，实例分割的结果也存在微小偏差。

图4 检测结果Fig.4 Test Results

Mask R⁃CNN检测结果与本文算法检测结果的对比如图5所示，可以看出，本文算法在交通标志边界的提取上更加精确。在Mask R⁃CNN预测掩膜的分支中增加掩膜得分的策略，依据真实的掩膜质量对网络进行训练，能够使模型的掩膜预测更加精准，明显提高掩膜的质量。

图5 Mask R‐CNN检测结果与本文算法检测结果对比Fig.5 Comparison of the Results Obtained by Mask R⁃CNN and the Proposed Algorithm

3.2 精度效率统计

在一个检测任务中，通常统计测试集的平均精度均值（mean average precision，mAP）作为结果精度的实际度量标准。在GTSDB和本文数据集中分别取600张测试数据对两种训练模型进行精度评定，统计其mAP50。计算结果见表1，可以看出，在GTSDB数据集上，相较于Mask R⁃CNN，本文算法精确度有所提升。由于无人机影像地物干扰较多，交通标志尺度变化大，两种算法的精确度较地面近景摄影获取的数据精度低。在自制数据集上，使用深度学习提取无人机影像中道路交通标志的精确度在90%左右。增加掩膜得分策略的Mask R–CNN改进了掩膜质量的判别方式，以掩膜真值与预测值的差异来训练网络，有更高的精确度。两种数据集的图像大小一致，除去模型载入的时间，一张分辨率为1 024×800的图像的处理时间均在0.48 s左右。

表1 Mask R‐CNN与本文算法的精度/效率统计Tab.1 Statistics of Accuracy and Efficiency of Mask R⁃CNN and the Proposed Algorithm

4 结束语

本文针对无人机遥感影像中交通标志提取时遇到的形变大、尺度变化大的问题，采用Mask R⁃CNN在检测和识别交通标志的同时，实现像素级的分割，取得了较好的检测效果。针对交通标志数据集较小的问题，提出使用透视变换数据增广的策略增加数据集。针对小目标边缘模糊造成的掩码不精确的问题，增加基于掩膜得分的策略，改善预测边界的质量。本文方法可被应用于其他地物的无人机影像目标检测与轮廓提取中。但是该方法还存在一些问题，例如，对高分辨率无人机影像检测耗时较长，对弱光照和阴影区域检测失效。