孙 晓 宇,蔡 祥

(北京林业大学信息学院，北京 100083)

0 引言

无人机遥感时效性高、成本低、可操作性强、分辨率高且不易受云层影响[1]，成为获取高分辨率遥感影像的重要手段之一。目前，国内外学者广泛使用无人机遥感影像进行图像分类[2,3]、目标检测[4-10]和图像分割[11,12]等研究，但上述研究主要利用无人机遥感影像中的RGB影像进行处理，未充分考虑地物的高程信息，同类不同形态地物的识别及复杂环境中多地物种类并存时目标地物的提取效果较差。将无人机遥感影像生成的数字表面模型(Digital Surface Model，DSM)与RGB影像融合，可保留更多细节信息，增强特征差异性，有效提高目标识别精度[13,14]。例如：赵静等[15-17]将无人机RGB影像与DSM融合，利用最大似然法、随机森林法进行目标提取，精度比仅使用RGB影像均有所提高。随着无人机遥感的快速发展，经典的最大似然法、随机森林法等遥感分类方法已不能很好地满足高精度影像的应用需求，利用深度学习方法进行无人机影像地物目标提取已成为研究热点[18-25]。例如：Liu等[26]基于RGB+DSM融合影像，利用链式全卷积神经网络(Chain Fully Convolutional Neural Network，CFCN)进行建筑物提取，提取结果精度更高，边界更清晰、完整。但目前鲜有利用深度学习方法对RGB+DSM融合影像进行多目标识别的研究。因此，本研究对无人机遥感RGB影像与DSM数据进行类IHS变换融合和通道叠加融合，利用基于深度学习卷积神经网络的语义分割模型对两种融合影像和原始RGB影像进行多目标提取，对比分析融合影像对目标识别精度的提升效果及不同目标的提取效果差异，以期提供一种高效的无人机遥感影像多目标提取方法。

1 研究区域与数据

本文研究区域为内蒙古自治区乌海市海南区焦化厂(106°53′06″～106°54′07″E，39°26′59″～39°27′33″N)，位于鄂托克旗桌子山煤田滴沥邦乌素矿区地质勘探详查区西南部，面积约为1.58 km2，高程范围为1 165～1 217 m，区域地势中西部较高，西北部较低。

无人机影像拍摄于2018年3月14日10：00，天气晴朗，采用瑞士SENSE FLY公司生产的eBee Ag固定翼无人机，该无人机能快速有效生成地形图、正射影像图及数字表面模型等数据，机身搭载Sony DSC-WX220相机(1 820万有效像素)，相机镜头为索尼G镜头，实际焦距为4.45～44.5 mm，最大光圈范围F3.3-F5.9，拍摄飞行高度70 m，飞行速度13 m/s。首先对无人机影像进行拼接和正射校正等预处理操作，生成研究区域的正射影像图，原始拼接影像尺寸为28 085像素×12 036像素，空间分辨率为5 cm；然后对影像进行12等份切割，去除无效影像、目标类型单一等低质影像，最终选取6幅无交叉影像作为实验数据，每幅影像尺寸均为6 720像素×5 760像素，覆盖面积约为0.08 km2。

本文选取道路、建筑、车辆和地面(除道路、建筑和车辆外的区域)4种地物目标对研究区域的遥感影像进行逐像素标注，部分标注结果如图1所示。为提升模型训练速度，降低运算量，将6幅影像裁剪为512像素×512像素的数据集。

图1 地物目标标注结果Fig.1 Annotation results of ground targets

2 研究方法

2.1 数据融合方法和语义分割模型

(1)通道叠加融合。在目标识别领域中，RGB-Depth(RGB-D)影像的应用十分广泛，其由RGB影像与深度影像(Depth)合成，其中深度影像的灰度值表示物体与摄像机的距离[27]。受此启发，本文将三通道RGB影像与单通道DSM影像进行通道叠加，形成四通道影像数据(RGB-DSM)。

(2)类 IHS变换融合。本文根据传统IHS变换原理，采用类IHS变换方法，将研究区的DSM影像与RGB影像融合，具体步骤为：提取无人机遥感影像的R、G、B三通道信息，对RGB影像做IHS正变换；将DSM影像替换所得I分量，形成I′HS影像并对其进行IHS逆变换，得到包含RGB影像和高程数据的类IHS变换影像。

(3)语义分割模型。DeepLabv3+模型[28]采用编码—解码结构(图2)，搭配空间金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)和深度可分离卷积，能准确提取图像信息并进行分类，提高目标提取的精度，成熟度较高，适用于本文无人机影像数据。因此，本文采用该模型进行无人机遥感影像地物目标提取。

图2 DeepLabv3+模型结构Fig.2 Structure of DeepLabv3+ model

2.2 精度评价

本文使用整体像素精度(Overall Pixel Accuracy,OPA)和平均像素精度(Mean Pixel Accuracy,MPA)评估不同融合方法下遥感影像的目标识别精度，计算公式为：

(1)

(2)

式中：pii表示目标i类被预测为i类的像元数量；pij表示目标i类被预测为j类的像元数量；k表示目标类型数量，本文k=4。

3 结果分析

本文实验采用Ubuntu 18.04 LTS 64位操作系统、NVIDIA GEFORCE GTX 1080Ti显卡加速，使用Python 3.6并基于Keras开源深度学习框架，训练时加入随机梯度下降算法进行优化(动量设置为0.9)，初始学习率设置为0.001，每个批次放入3幅影像，进行100次迭代。

3.1 整体识别精度分析

由表1可知，RGB-DSM影像的识别精度最高，整体像素精度为95.76%，平均像素精度为92.96%，比RGB影像分别提高3.52%和1.42%；类IHS变换影像的整体像素精度比RGB影像提升2.24%，但平均像素精度略有下降。可见，两种融合影像在DeepLabv3+模型中总体上均能提升地物目标识别精度。RGB-DSM影像直接将高程信息叠加到原始RGB影像通道中，保留了两种数据的全部信息，但增加了模型的计算量；类IHS变换影像将高程信息融入影像的空间特征内，保持模型运算量基本不变，但造成少量信息损失，因此，RGB-DSM影像的识别精度略高于类IHS变换影像。

表1 3种影像数据的地物目标识别精度Table 1 Accuracies of ground targets recognition for three kinds of image data %

3.2 不同地物目标识别精度分析

为分析影像融合方法对4种地物目标的识别效果，本文选取部分分割结果进行分析(图3)。从图3可以看到，两种融合影像的错分现象均少于RGB影像，且对不同地物目标的提取效果不同。例如，两种融合影像对道路的提取效果均优于RGB影像，其中RGB-DSM影像对道路轮廓的提取效果与人工标记结果基本一致，对道路内车辆的错分现象较少，类IHS变换影像对道路的提取较准确，且对道路内车辆的提取效果较好；两种融合影像对建筑的提取效果均优于RGB影像，但对不同区域的建筑错分现象不同。

图3 3种影像数据对不同地物目标的分割结果对比Fig.3 Comparison of segmentation results of different ground targets for three kinds of image data

进一步采用混淆矩阵对3种影像的整体像素精度和Kappa系数进行分析(表2)。由表2可知，RGB-DSM影像与类IHS变换影像的Kappa系数比RGB影像分别提高了14.99%和11.79%。1)在对道路的提取中，RGB-DSM影像和类IHS变换影像的精度分别提高了8.6%和2%，主要原因在于，两种融合影像均增加了道路的高程信息，DeepLabv3+模型能有效提取通道特征信息，使道路的识别精度提高。2)在对建筑的提取中，RGB-DSM影像和类IHS变换影像的精度分别提高了6.22%和2.5%，这是因为两种融合方法将高程数据分别融入原始影像的通道与空间内，DeepLabv3+模型能提取通道和空间特征，提升了对建筑的识别精度。3)在对地面的提取中，RGB-DSM影像和类IHS变换影像的精度分别提高了3.39%和2.96%，主要原因在于，研究区地面包含沟壑和矿山等高程变化范围较大的区域，且地面自身纹理特征明显，导致地面识别精度明显提升。4)在对车辆的提取中，两种融合影像的识别精度均低于RGB影像，可能是由于车辆与周围地物的高差较小，高程特征不明显，同时实验数据中存在车辆种类较多、样本量较小等情况，融合影像引入了少量噪声，从而降低了车辆识别精度。综上，通道叠加与类IHS变换两种数据融合方法能提升与周围物体高差较大的地物目标识别精度，但提升效果受数据融合方法与目标本身高程信息影响。

表2 基于3种影像数据的不同地物目标识别结果的混淆矩阵Table 2 Confusion matrix for different ground targets recognition results from three kinds of image data

4 结论

本文基于无人机低空遥感获取高精度的RGB影像和DSM数据，提出通道叠加和类IHS变换两种数据融合方法，通过DeepLabv3+模型对影像融合前后的地物目标识别精度进行对比分析，得到以下结论：1)两种数据融合方法能提升地物目标识别精度，其中RGB-DSM影像的效果最好，其整体像素精度和Kappa系数比RGB影像分别提高了3.52%和14.99%，类IHS变换影像的整体像素精度与Kappa系数比RGB影像分别提高了2.24%和11.79%；2)RGB影像与DSM影像融合能提升道路、建筑和地面等与周围地物高差较大的地物目标的识别精度；由于车辆与周围地物的高差较小，且研究区域内车辆情况复杂，本文数据融合方法对车辆的识别精度较差，后期将通过融合近红外波段与增加注意力模块提升与周边地物高差较小的地物目标识别精度。