郭正山 冯放

摘要：目前，高分辨率数据已成为重要的信息存储手段之一，其分类问题也成为了热点。在分类过程中经历了最初的极大似然法、K-均值聚类法、机器学习和传统神经网络等几十年的探索和研究，最近才发现深度学习技术可以更好的应用。本文给出了深度学习的常用模型深度信念网络（DBN）、支持向量机（SVM）和传统神经网络（NN）的三种分类方法，并结合其它相关文献进行了对比分析，得出DBN模型在分类效果上更好。最后，展望了深度学习的理论和应用在遥感影像领域中的发展趋势。

关键词：遥感影像；深度学习；深度信念网络；支持向量机；神经网络；地物分类

中图分类号：P237 文献标识码：A 文章编号：1672-9129（2018）07-0028-02

Abstract： At present， high-resolution data has become one of the important information storage methods. Its classification has also become a hot topic. During the classification process， it has experienced decades of exploration and research such as the initial maximum likelihood method， K-means clustering， machine learning， and traditional neural networks. It has only recently been discovered that deep learning technology can be applied better. This paper presents three classification methods of deep learning common models： deep belief network （DBN）， support vector machine （SVM） and traditional neural network （NN）， and compares them with other related literatures. The classification is better. Finally， the development trend of theories and applications of deep learning in the field of remote sensing images is forecasted.

Keywords： remote sensing imagery； deep learning； deep belief network； support vector machine； neural network； feature classification

引言

顾名思义，遥感影像是一种反映地面物体电磁辐射信息的图像，通过强弱程度来进行存储和表达[1]。遥感影像分类总体是指把影像中每个像元划分到类别的过程，是遥感领域中最常遇到的问题。

在高分辨率数据分类的初期，引用最多的是基于光谱统计特征进行分类的传统方法，但随着影像中大量细节的出现和地物光谱特征的复杂化导致这些分类方法准确度降低。于是引入了机器学习算法，虽然在分类结果上有着更好结果，但是有一些局限：有限的计算单元、很难表达复杂函数、浅层的学习算法等[2]。

直到2006年深度学习算法的提出，缓解了机器学习算法的局部优化和过拟合问题，同时包含更多的层次，能够很好的处理和发掘复杂无规律的数据，掀起了遥感影像分类问题上的深度学习算法的研究。

1 遥感影像分类方法简介

1.1支持向量機

支持向量机 （Support Vector Machines， SVM ）是一种在统计学习理论上进行改进和升级的浅层学习的人工神经网络算法，其数学模型简单，理论基础牢固，采用结构风险最小化准则。

SVM的目的在于找到一个最优分类超平面，适合于一组线性可分数据的分类问题，是一个二元分类器。给定一组已经被标记好的训练实体，用空间中的点表示，于是得到准确实体的分布模型，就可以根据新的实体在该空间所落的地方来预测所属类别[3]。

SVM的简单实用发挥了很大的作用，并与多门学科融合发展，应用于许多领域。同时由于简单，需要较强的计算速度和存储容量等问题，需要进一步发展和进化。

1.4神经网络

神经网络是从我们人脑结构得到启发设计出来的数学模型，基本组成单元是单个神经元[5]。神经元的堆叠有非常复杂的结构，能够处理许多很智能的问题，结构如图所示：

1.4.1 BP神经网络

BP神经网络是一种包括输入、输出和隐层的前馈神经网络，与SVM相比能处理更多的分类问题，包括两个过程：信号前向传播和误差反向调整。

前向传播指的就是根据这四个等式从输入层到隐层，从隐层到输出层的参数计算和传播。前向传播使该模型初见成型，但是它还比较粗糙，需要下面的反向传播来进行改进。

反向传播是根据误差梯度下降算法修改模型中的参数，误差反向调整是BP网络的特色所在，通过人为的调整参数与修改模型来定型，这就是BP神经网络。

1.4.2 RBF神经网络

RBF是另一类常用神经网络，由两阶段组成：用无监督学习求解隐层基函数的方法与中心；用监督式学习求解隐含层到输出层的权值。

首先要我们随机选 个样本点作为聚类中心 ，然后剩余的样本分配到与之最近的聚类集合中，接着计算聚类集合的均值，把计算得到的均值作为新的聚类中心ci。这时会出现两种状况，若聚类中心没有发生变化，则其就是RBF神经网络最终的基函数中心，否则需要再进行样本分类和之后的处理。没有问题的话就求解方差，最后用最小二乘法计算隐含层和输出层之间的权值。

这里，我们的两种神经网络已介绍完了，但是由于层次较浅，不能再适合于独立处理当今复杂问题。伴随着计算机具有了很强的数据处理能力，引发了人们对具有更深层次神经网络的研究，DBN就是其中的代表。

1.5深度信念网络（DBN）模型

深度信念网络是由G.E.Hinton等在2006年提出，由若干个受限玻尔兹曼机模型叠加而成的有着层次较多的神经网络，于是我们从受限玻尔兹曼机讲起。

1.5.1 受限玻尔兹曼机（RBM）

受限玻尔兹曼机是由玻尔兹曼机（Boltzmann machine，BM）进行一些约束得到的。BM通过学习数据中的固有属性，有很强的无监督学习能力与非常完美的理论基础，但是需要很长的训练时间并无法得到数据的准确分布。

这时受限玻兹曼机（RBM）的提出弥补了一些缺点，它规定层内节点独立，层间节点相互连接，是有2层结构的马尔可夫随机场的特殊情况。这样模型就得以简化，能很容易地求得概率分布函数，也大大提高了学习效率[6]。

1.5.2 深度信念网络

深度信念网络（deep belief network，DBN）是由RBM堆叠而成的深层神经网络模型，通过预训练和反向微调来完成。预训练采用分层训练方法对无标签的样本来自我学习再用BP算法对其中的参数微调。它具有训练速度快，特征提取更明显的优势，低层学习到的是表面特征，而顶层学习能够得到细致的数据内部的一些特征[7]。

这时很有必要提另一种很典型的深度结构：深度玻尔兹曼机（deep Boltzmann machine，DBM），它与DBN在结构上非常相似。DBM是由单层RBM增加隐层数得到的，而DBN是在靠近可视层的部分使用有向图模型，在输出层处使用RBM。同时它们也很类似，都是具有自下而上的深层结构，在一些问题上能取得相同的结构。

2 深度学习的提出及应用

2.1 浅层方法的局限性

浅层学习方法是指具有隐层较少的网络结构，上文所示的支持向量机、两种常用神经网络就属于典型的浅层学习方法，接下来针对这两种方法来展开论述。

支持向量机有着很好的理论基础，但缺点也很严重：输入数据必须是完全标记的、成员概率没有进行校准和验证和只能直接进行二值分类[8]。因此必须将初始问题刻板转变为几个二元问题。BP神经网络具有简单性、易行性、并行性；RBF神经网络具有唯一逼近特性、没有局部极小问题等优点。但两类方法优点凸显的同时，缺点也很严重：特征表达能力不足、特征维数过多、计算复杂等，往往在实际问题中缺点要远远大于其优点，所以不能很好的适应当前的需求。

总体来说，浅层结构需要借助人的经验抽取适当的样本特征，同时学习获得的特征仅仅是单层。虽然在处理简单数据时有明显的速度优势，但是对于复杂数据就凸显出表征能力不足的问题，不再适用于高分辨率遥感影像的分类问题上。

2.2 深度学习算法的提出

深度学习是从样本数据通过一定的算法得到有多个隐层的深度神经网络的过程[9]。是一种从海量数据中不断习得经验的深层学习模型，它能发现更有力的人们看不出内部特征，最终提高分类的准确性，成功应用于处理具有高维稀疏特征的复杂的真实世界中的问题的数据。因此本文提出将深度学习的常用模型—深度信念网络（DBN）应用于遥感影像的分类问题上，可以直接从中提取数据所包含的特征而不受具體模型的约束，从而有较高的泛化能力。

2.3 深度学习在遥感影像的应用案例

Krizhevsky等在2012年通过训练一个深度神经网络来对 ImageNet LSVRC2010中包含着1000个不同类别的1.2百万个高分辨率图像进行分类。在测试数据中，在第一和第五上的错误率分别为37.5% 和17.0%，刷新了这个数据集的记录。

文献[10]将深度网络算法与可学习感受野相结合，学习用于池化的感受野和分类器，最终在Oxford flowers测试库的图像中进行了测试，并获得良好的分类效果。

文献[11]提出了一种基于DBN的谱域-空域分类方法，在高光谱数据条件下对DBN分类器进行实验。在两个高光谱数据集上进行了测试，证明了该方法比SVM方法具有更好的分类性能。

3 深度学习在遥感影像领域的理论和应用展望

目前，深度学习横跨数学、计算机、工程技术等多个学科并应用于我们社会生活的各个领域[12]，但是将其应用于遥感影像解释的研究工作相对较少。由于深度学习具有处理高稀疏数据的优良特性，所以未来它是遥感影像分类领域的技术前沿，有着很好的发展前景。

由于是新兴技术，没有完善的理论依据，大部分时候都是通过经验或实验来取自己认为的最优参数，由此影响了分类效率。所以下一步将以如何更加快速准确确定深度学习的网络参数作为研究的方向。

参考文献：

[1]王一达，沈熙玲，谢炯. 遥感图像分类方法综述[J].2006（5）： 67-71.

[2]刘大伟， 韩玲， 韩晓勇. 基于深度学习的高分辨率遥感影像分类研究[J]. 光学学报， 2016（4）：298-306.

[3]Lothar Hermes， Dieter Frieau， Jan Puzicha， et al. Support Vector Machines for Land U sage Classification in Landsat TM Imagery[J ]. In： Proc. IGARSS99， 1： 348—350.

[4]Huang C， Davis L S. Townshend J R G. An assessment of support vector machines for land cover classification [J]. International Journal of Remote Sensing，. 2002， 23： 725-749.

[5]张日升， 张燕琴. 基于深度学习的高分辨率遥感图像识别与分类研究[J]. 信息通信， 2017（1）：110-111.

[6]李俊峰， 汪月乐， 胡升，等. 基于DBN，SVM和BP神经网络的光谱分类比较[J]. 光谱学与光谱分析， 2016， 36（10）：3261-3264.

[7]尹宝才， 王文通， 王立春. 深度学习研究综述[J]. 北京工业大学学报， 2015（1）：48-59.

[8]Hsu CW， L in C J. A comparison of methods for multi-class support vector machines [J]. IEEE Transactions on Neural Networks， 2002， 13 （2）： 415—425， 2002.

[9]刘建伟， 刘媛， 罗雄麟. 深度学习研究进展[J]. 计算机应用研究， 2014， 31（7）：1921-1930.

[10]王博，郭继昌，张艳.基于深度网络的可学习感受野算法在图像分类中的应用[J].控制理论与应用，2015，32（8）：1114-1119.

[11]李铁， 孙劲光， 张新君，等. 高光谱遥感图像空谱联合分类方法研究[J]. 仪器仪表学报， 2016， 37（6）：1379-1389.

[12]HARRINGTON P.Machine learning in action[ M ]. Shelter Island，N. Y.：Manning Publications Co， 2012.