杨金旻

摘要：随着计算机技术的发展，深度学习算法在遥感图像分析中得到了广泛的应用。为了全面客观地了解深度学习在遥感分析中的应用，有必要对其进行更系统的分析，把握不同应用所面临的问题，以供研究以及技术人员参考。该文首先介绍了深度学习算法及常用模型，回顾了遥感领域从预处理到制图过程的主要应用技术。随后，分析了深度学习在遥感图像分析中的应用，包括图像融合、图像配准、场景分类、目标检测、土地利用与土地覆盖分类、语义分割、基于对象的图像分析等。最后，对目前的应用状况进行了总结，并提出了今后的应用研究方向。

关键词：深度学习;遥感;图像分析;图像识别

中图分类号：TP311文献标识码：A

文章编号：1009-3044（2020）24-0191-02

1 概述

遙感图像技术已经广泛应用于分类和变化检测等领域。除此之外，遥感图像技术还涉及一些预处理过程，并高度依赖于所采用的方法。因此，相关遥感技术研究一直致力于发展遥感方法，以提高预处理、分割和分类等方面的性能。神经网络作为深度学习算法的基础，已经在遥感领域应用多年。然而，在数字图书馆发展之前，遥感界已将其工作重心从神经网络转移到支持向量机和集成分类器，如随机森林，用于图像分类和其他诸如变化检测等任务。支持向量机因其处理高维数据的能力以及在有限训练样本下的良好表现而备受关注，而随机森林则因高精度、易于使用、对分类参数相对不敏感而获得应用普及。近年来，深度学习的出现又引起了遥感界对神经网络的兴趣。自2014年以来， 深度学习算法在土地利用和土地覆盖分类、场景分类和目标检测等许多图像分析任务上取得了显著的成功，遥感界更将注意力转移到了深度学习上。

为了全面客观地了解深度学习在遥感图像识别中的应用，有必要对其进行系统的分析，把握深度学习的不同应用所面临的问题，以供研究以及技术人员参考。本文基于对遥感领域中与深度学习相关的主要子领域进行全面回顾，包括图像融合、图像配准、场景分类、目标检测、土地利用和土地覆盖分类、图像语义分割、基于对象的图像分析等，通过分析对与深度学习在遥感相关领域的应用状况，总结主要成果和进展，进而展望该领域的研究与应用前景。

2 深度学习算法及常用模型

深度学习是一种基于神经网络的学习算法。神经网络由具有一定激活度A和参数Θ=W，γ的神经元或单元组成。深度学习模型网络由许多层组成，这些层将输入数据（例如图像）转换为输出（例如类别），同时逐步学习更高级的特征。输入和输出之间的层通常称为“隐藏”层。一个包含多个隐藏层的神经网络通常被认为是一个“深层”神经网络，术语“深度学习”也因此而来。

近年来，基于深度学习算法的体系结构体现出更能有效利用图形处理单元、校正线性单元和许多训练示例的特性，其在计算机视觉处理相关领域受到了更多关注，并且在遥感领域的许多应用中拥有良好表现。下文将介绍遥感中几种常用的深度学习模型，包括有监督基于卷积神经网络和递归神经网络模型，以及无监督自编码和深信度网络模型，还包括最近流行的生成对抗网络模型。

2.1卷积神经网络

基于卷积神经网络是应用最广泛的深度学习模型之一，最初设计用于处理多个数组形式的数据，非常适合处理像素排列规则的多波段遥感图像数据。具体来说，基于卷积神经网络主要由三种不同类型的层次结构组成：卷积层、池层和完全连接层。在每一层，输入图像被一组K核卷积W=W1、W2、…、WK并添加偏置γ=b1、…、bK，每个偏置产生一个新的特征映射Xk。这些特征受到元素非线性变换σ·，并且对于每个卷积层l重复相同的过程：Xkl=σWkl-1*Xl-1+bkl-1。与传统的多层感知器相比，在基于卷积神经网络中，在一定大小的邻域内的像素值使用置换不变函数（通常是max或mean操作）进行聚集。在网络卷积流的末尾，通常添加完全连接的层（即规则神经网络层），其中不再共享权重。

2.2循环神经网络

作为一种广泛应用的有监督学习模型，循环神经网络模型通常用于离散序列分析。在循环神经网络中，输入和输出数据可以是可变长度的。因此，涉及顺序输入的某些任务，例如语音和语言处理，通常更受益于循环神经网络。实际上，在条件允许的情况下，反向传播在训练循环神经网络方面的应用最为有效。随着前向计算所涉及的计算时间的展开，循环神经网络会产生非常深的前向网络来学习规则深度神经网络那样的长期依赖关系，因此很难长时间地学习和存储信息。为了解决这个问题，使用了显式内存来扩充网络。因此，一些特殊的记忆单元被开发出来，例如长-短期记忆单元和门控递归单元。随着其体系结构和训练方法的发展，循环神经网络在预测文本中的下一个字符或序列中的下一个单词方面得到了成功和广泛的应用，并被扩展到其他更复杂的遥感图像任务中。

2.3自动编码器和堆叠式自动编码器

自动编码器通常用来学习压缩和分布式数据集表示。与输入或输出相比，一个隐藏层中隐藏单元的数目较小，这是声发射最重要的特征。因此，自动编码器可以通过一个隐藏层来实现数据压缩和降维的目的，主要用于特征层次的处理。自动编码器是通过一个隐藏层h和h=fWx+β将输入x映射到潜在表示的简单网络。这里W是训练过程中要估计的权重矩阵，β是一个偏差向量，f表示一个非线性函数。随后，重建的输入γ可以表示为γ=fW′h+β′，通过反向映射和使用相同的权重来解码潜在表示，W′=W T，β′=βT。

堆叠式自动编码器（或深度自动编码器）是由多层自动编码器组成的神经网络，其中每一层的输出连接到下一层的输入。它是通过叠加声发射层形成的。在遥感领域，这种多层自动编码器通常用于特征表示，并取得了良好的效果，特别是在光谱-空间特征学习方面。

2.4 受限Boltzmann机器与深信度网络

受限Boltzmann机器是一个由可见层x和隐藏层h组成的生成随机无向神经网络，各层之间是连通的，而各层中的单元是不连通的。该机器作为两层网络，表现出一种特殊的Markov随机场。对于可见和隐藏单元的特定状态（x，h），能量函数被定义为单元的联合配置。与自动编码器一样，深信度网络中的每一层都包含多个受限Boltzmann机器，只是深信度网络中的各个层都是使用受限Boltzmann机器模型训练的，而不是使用无监督的自动编码器。最终的微调是通过在深信度网络的顶层添加一个线性分类器并实现一个有监督的优化过程来完成的。

2.5 生成性对抗网络

生成性对抗网络最近成为一种非常流行的无监督深度学习模型，包含两个相互竞争的网络系统：生成网络和判别网络。生成网络学习从潜在空间映射到感兴趣的特定数据分布（例如，图像），而判别网络区分真实数据和生成网络生成的数据。生成性网络的训练目标是通过生成具有真实数据分布的真实示例来“愚弄”区分性网络。判别网络通常是产生概率的标准卷积网络。两个网络都试图在零和博弈中优化不同的和相反的损失函数。目前，生成性对抗网络已经成功地应用于许多计算机视觉和图像处理应用中。

3深度学习技术在遥感图像识别中的应用

3.1 图像融合

遥感图像融合技术是遥感图像领域的一项基础性工作，其目標是获得同时具有高光谱和高空间分辨率的图像。遥感图像融合的一个典型例子是泛锐化，它表示将低分辨率多光谱图像和高分辨率全色图像融合以获得高分辨率多光谱图像。另一个例子是低分辨率高光谱图像和高分辨率多光谱图像的融合以生成高分辨率图像。遥感图像融合可以看作是低分辨率源图像在高分辨率源图像辅助下的图像超分辨率问题。

3.2 图像配准

图像配准是一种将不同传感器、不同时间或不同视角拍摄的两幅或多幅图像对齐的方法。它是许多遥感分析任务，如图像融合、变化检测、图像拼接等的基本预备步骤。通常，图像配准包括以下四个步骤：（1）特征提取;（2）特征匹配;（3）变换模型估计;（4）图像重采样。特征提取在图像配准中起着至关重要的作用，因为它决定了要使用哪种类型的特征进行图像匹配。由于深度学习作为一种完全数据驱动的方案，能够从图像中自动学习特征，近年来被应用到遥感图像配准中。

3.3 场景分类与目标检测

在进行场景分类和目标检测时，首先要了解它们之间的区别，因为它们都有相似的遥感应用，而且经常混淆。在遥感工作实践中，场景分类可被定义为从大量图片（例如农业场景、森林场景和海滩场景）中确定图像类别的过程，训练样本是一系列带标签的图片。然而，目标检测的目的是检测单个图像场景中的不同目标，例如飞机、汽车和城市村庄，而训练样本是固定大小窗口或补丁中的像素。

3.4 土地利用和土地覆盖分类

在遥感地理空间数据处理中，图像中的森林、停车场、机场、住宅区或高速公路等类型特征的定位较为常见。然而，这些特征的出现会受到很多因素的影响，包括图像被捕获的时间、传感器设置、为纠正图像所做的处理以及图像所捕获区域的地理和文化背景等。利用深度卷积神经网络可以将土地利用从甚高空间分辨率、正射校正、可见波段多光谱影像中进行分类，包括自动变化检测或映射等应用。

3.5 图像语义分割

图像语义分割的目的是为图像中的每个像素指定土地覆盖标签。近年来，在深度卷积神经网络，特别是端到端全卷积网络的推动下，遥感图像语义分割日益引发关注。目前，最先进的遥感图像语义分割框架依次由编解码子网组成。深度卷积神经网络用于语义分割的主要优点是能够在非常大的接收域上探索多层次的上下文信息。然而，由于分割结果的空间分辨率较低，容易使类边界模糊和对象细节丢失。为了解决这一问题，在遥感领域采用了四种主要的策略：（1）通过反褶积或多分辨率特征组合来发展非下采样编码网络;（2）通过设计对称的未解决层和跳跃连接来改进解码网络;（3）使用集成具有不同初始化或不同的多个网络的;以及（4）通过使用概率图模型、通过融合由无监督分割产生的片段、通过使用覆盖策略或通过使用过滤方法对语义分割结果进行后处理。然而，如何在遥感图像语义分割的强下采样（允许更丰富的上下文信息提取）和精确边界定位（需要局部细节）之间取得平衡，仍然是一个具有挑战性的问题。

3.6 基于对象的图像分析

当使用不同的深度学习模型进行对象分类时，由于多边形的单位不同，处理方法也有很大的不同。首先，可以直接将物体的光谱、空间和纹理特征导入到自动编码器模型中，从而训练网络的参数。其次，使用基于补丁的基于卷积神经网络方法将深度特征与基于对象的分类相结合。通常情况下，基本上需要通过基于卷积神经网络进行基于对象的分类，先生成面片、后通过像素分类来表示对象的类型，但面片生成和分割的方法在一定程度上有所不同的情况除外。通过基于图的分割创建预分割对象，选择性搜索方法融合相似对象，然后提取潜在地面对象的边界框。最后，可以将边界框添加到训练数据集中，以使用执行像素级分类的深度学习分类模型。将基于卷积神经网络应用于城市制图，对街道街区衍生的不规则制图单元进行处理，可生成实用的土地利用图。

4 结束语

本文系统分析了深度学习在遥感领域相关子领域中的应用，包括图像融合、图像配准、场景分类、目标检测、土地利用和土地覆盖分类、图像语义分割、基于对象的图像分析等，对这些子领域中深度学习算法的使用进行了深入讨论。在总结主要成果和进展的基础上，展望该领域的研究与应用前景，以期能够为相关研究以及技术人员全面客观地了解深度学习在遥感分析中的应用、把握深度学习的不同应用中所面临的问题提供参考与借鉴。

参考文献：

[1] 王斌，范冬林.深度学习在遥感影像分类与识别中的研究进展综述[J].测绘通报，2019，（2）：99-102，136.

[2] 黄金，付发，赵娜.深度学习在遥感图像目标检测中的应用研究[J].无线互联科技，2019，16（1）：11-13.

[3] 刘建闽，黄帆，戴军.基于机器学习的遥感图像识别检测技术研究及应用[J].西安文理学院学报（自然科学版），2015（4）：66-69.

[4] 付伟锋，邹维宝.深度学习在遥感影像分类中的研究进展[J].计算机应用研究，2018，35（12）：7-11.

[5] 徐金晓，方圆.深度学习在高分辨率遥感影像解译中的应用研究[J].通信电源技术，2019，36（8）：68-69，72.

【通联编辑：朱宝贵】