李静, 韩震,2,*, 王文柳, 崔艳荣

基于OverFeat模型的长江口南汇潮滩植被分类

李静1, 韩震1,2,*, 王文柳1, 崔艳荣1

1. 上海海洋大学 海洋科学学院, 上海 201306 2. 上海河口海洋测绘工程技术研究中心, 上海 201306

潮滩地带环境复杂多变, 有些植被之间光谱特性相似, 为了解决植被精细分类精度不高的问题, 利用基于ImageNet预训练的卷积神经网络OverFeat模型, 以高分二号(GF-2)卫星遥感影像作为实验数据, 对长江口南汇潮滩不同生长状态的植被进行了深度特征提取, 然后将模型训练好的深度特征输入到支持向量机(SVM)分类器中, 得到植被分布信息。研究结果表明, 与基于光谱特征的SVM分类方法相比, 文章所用方法的分类精度更高, 总体精度可达96.08%, 证明了使用基于ImageNet数据集的预训练卷积神经网络对不同生长状态的植被可以实现较好的识别。

ImageNet; 卷积神经网络; OverFeat; 特征提取; 分类

0 前言

海岸带潮滩地带是海洋向陆地的过渡带, 其环境复杂多变, 且植被覆盖范围广, 植被间同物异谱、同谱异物现象较为普遍, 对于植被的精细分类, 基于光谱统计特征的分类方法准确度不高。卷积神经网络模拟大脑通过多层神经网络建立学习机制, 从低层向高层逐层提取抽象特征, 在复杂图像的分类上有一定优势。近年来, 卷积神经网络在遥感图像上的应用日益增多。J. Donahue等[1]提取了基于ImageNet训练集的预训练卷积神经网络的输出特征, 实现了不同种类图像的分类识别。Hu等人[2]对现有的深层卷积神经网络结构进行分析, 并对其各隐含层的输出进行对比, 提出了使用深度学习对光学遥感影像进行特征提取。张伟等[3]通过预训练好的AlexNet卷积神经网络对GF-1多光谱影像进行特征提取, 分析了其地表覆盖分类, 得到了更高的分类精度。党宇等[4]使用大量数据微调AlexNet模型, 有效计算了各图斑的地类隶属, 实现了自动地表覆盖分类图斑量化评价。葛芸等[5]证明了在ImageNet上训练好的卷积神经网络用于遥感图像检索是一种有效方法。李冠东等[6]利用基于ImageNet预训练的卷积神经网络Inception-v3模型提取了高分影像的特征向量, 并将其输入到新的全连接层, 经少量带标签影像场景数据训练后得到最终分类结果。综上所述, 基于ImageNet预训练的卷积神经网络不仅可以进行不同种类图像的分类, 在遥感影像的识别分类上, 如地表覆盖分类、遥感图斑地类隶属、高分场景影像以及遥感图像检索方面的识别分类效果也比较好。

OverFeat模型是预训练卷积神经网络中比较常用的模型, 其是在AlexNet模型的基础上改进发展的, 并基于ImageNet训练集训练模型参数, 可实现深度特征提取和分类的功能。Marmanis D等[7]将基于ImageNet训练集的预训练卷积神经网络OverFeat模型应用于UC Merced Land数据集的分类, 准确率可达到92.4%。OverFeat模型广泛应用于图像识别方向, 而CaffeNet、VGG等卷积神经网络在遥感图像的识别上, 由于层数过多会产生过拟合现象, 故本文选取OverFeat模型。

图1 技术路线

Figure 1 Technical route

本文通过基于ImageNet预训练的卷积神经网络OverFeat模型, 将模型的网络结构和参数应用到遥感图像上, 以GF-2卫星遥感影像为实验数据, 对长江口南汇潮滩的植被进行深度特征提取, 技术路线如图1所示, 结果表明利用OverFeat模型提取的植被深度特征进行分类与基于光谱特征的分类方法相比精度更高。

1 模型方法

1.1 OverFeat模型

OverFeat模型是Sermanet P等提出的一种基于ImageNet数据集的预训练卷积神经网络, 可以达到分类、预测、定位的目的, 其充分利用了卷积神经网络的特征提取功能[8]。 OverFeat模型包括Fast和Accurate两种网络结构, Fast模型的运行速度更快, 但是Accurate模型的准确度更高一些, 所以本文选择使用Accurate模型。Accurate模型分为9层, 其中前6层为卷积层, 后3层为全连接层。OverFeat Accurate模型主要进行的运算有卷积、池化、以及ReLU激活函数的使用, 如图2所示。

OverFeat模型的卷积过程可以描述为:

F=(F–ÄW+b) (1)

其中F(1≤≤6)为第层卷积层,Ä为通过卷积核对第-1层特征进行卷积运算,W表示第层卷积核的权重,b表示第层的偏置, 最终通过激励函数输出特征。

池化层一般直接在卷积层之后进行, 用于对特征图的下采样, 可以达到降维的目的, 并在一定程度上保持特征的尺度不变。OverFeat模型使用最大值池化函数, 只采用了普通的池化, 其步长为3。模型仅在第1、2、6层卷积层之后使用最大值池化。

OverFeat模型使用ReLU激活函数来有效改善梯度消失和收敛波动。ReLU函数的数学表达式为:

()=max(0,) (2)

是非饱和线性函数, 只要通过一个阈值就可以得到激活值, 所以在随机梯度下降时的收敛速度比Sigmoid函数快。

图2 OverFeat Accurate模型基本功能

Figure 2 Basic functions of OverFeat accurate model

模型采用Dropout来抑制过拟合, 在训练过程中每次输入数据时, 都会激活不同的隐含网络结构, 但是由于权重共享, 使得神经元之间的复杂互适应关系明显降低, 从而有效抑制了过拟合问题, 提高了模型的泛化能力。

模型参数的更新是基于梯度下降算法的, 其中超参数的设置如下: 动量项为0.6, L2权重的衰减系数为10-5, 初始学习率为0.05, 并且在每迭代30、50、60、70、80次后, 学习率每衰减0.5倍, Dropout为0.5。每层的权重服从(,)=(0, 0.01)的高斯分布。

1.2 SVM分类方法

SVM分类的基本思想是通过核函数将输入向量转化到高维空间, 根据间隔最大理论寻找最优分类面, 用最优分类面进行分类, 其分类包括2个部分: 训练SVM分类器和分类。通过给定训练样本, 构造并求解凸二次规划问题, 其求得的解对应的样本就是支持向量, 以此完成SVM分类器的训练; 之后构造分划超平面, 求得决策函数, 将待分类影像中的未知样本特征带入到决策函数中, 完成样本的分类。

2 实验与结果分析

2.1 研究区域

本文选取的研究区域分布在长江口南汇潮滩, 位于30°52′10″N—30°52′23″N, 121°55′50″E—121° 56′33″E, 具体遥感影像如图3(b)所示, 成像时间为2016年5月4日, 图像大小为400ⅹ400。研究区域内有大范围的潮滩植被, 主要的植被类型有芦苇、一枝黄花。

2.2 实验数据

高分二号(GF-2)卫星于2014年8月19日发射成功, 是我国自主研制的空间分辨率优于1 m的民用光学遥感卫星, 具体的卫星有效载荷技术指标如表1所示[9]。由于研究区域临近东海岸边, 5月初气温还比较低, 芦苇虽正属于生长期, 但其生长状态不一致, 部分枯黄的芦苇还保留在原地, 其在图像上的表现有所差异, 所以将研究区域的芦苇分为两类, 其中一种为展叶期芦苇, 另一种为还保留飘絮的枯黄期芦苇。一枝黄花也正处于生长期, 长势有所不同, 其中一种为高植株, 另一种为刚出苗的低植株。本文从图像中选取了1646个样本点, 其中芦苇I(展叶期芦苇)312个样本点, 芦苇II(枯黄期芦苇)432个样本点, 一枝黄花I(高植株)324个样本点, 一枝黄花II(低植株)418个样本点, 水体78个样本点, 裸地82个样本点。实验选取880个样本点作为测试数据, 选取766个样本作为验证数据。

图3 研究区域

Figure 3 Research area

2.3 潮滩植被主成分分析特征提取

主成分分析是一种线性变换方法, 可实现图像增强, 减少计算数据量, 同时可消除特征向量中各特征的相关性, 增强分类信息。本实验由于之后OverFeat模型的输入要求为221ⅹ221ⅹ3, 所以取前三个主成分参与分类研究。

t-SNE算法是Maaten等[10]提出的一种非线性降维的流形学习算法, 其基本原理是通过将数据点之间的欧氏距离转换为表示相似性的条件概率来将高维空间点对映射到低维空间, 保持点对之间的特性不变。实验选取220个样本点进行特征分析, 前三个主成分上样本的光谱特征经过t-SNE算法得到的结果如图4所示, 其中芦苇II与裸地、一枝黄花II样本点混杂在一起, 两种一枝黄花和两种芦苇也交错分布, 仅利用地物的光谱特征分类, 在4种植被和裸地之间易存在错分区域。

表1 GF-2卫星有效载荷技术指标

图4 长江口南汇潮滩植被光谱特征散点图

Figure 4 Scatter plot of spectral characteristics of vegetation in Nanhui tidal flat of the Yangtze Estuary

2.4 潮滩植被OverFeat模型深度特征提取

2.4.1 微调OverFeat模型

本实验采用OverFeat Accurate模型的前7层网络, 包括6层卷积层、1层全连接层。因为OverFeat模型是基于ImageNet训练集训练好的网络, f8提取的特征语义性更强, 但是也更加符合ImageNet训练集的分类。而遥感影像不在ImageNet训练集内, 所以使用f7提取的特征, 分类精度更高。本实验主要对两种芦苇、两种一枝黄花、水体、裸地6种地物分类, 所以输出层的通道数为6。

2.4.2 深度特征提取

实验取研究区域遥感影像前3个主成分上选取的样本, 使用最近邻插值法使其邻域扩充到221× 221的像素。样本数据输入到模型第1层之后, 首先使用96个7×7×3的卷积核, 每间隔2个像元对输入影像进行卷积操作; 其结果经过ReLU函数激活后以3ⅹ3的窗口大小每隔3个像元选取对应最大值进行池化处理。第1层的输出结果作为第2层的输入, 再一次进行卷积池化运算, 但卷积的步长缩小为1, 池化层的窗口变为2×2, 步长为2。将第2层的结果经过3次3×3×1的卷积之后, 输入到第6层中进行3×3×1的卷积运算提取特征, 再经过3×3×3的池化降维, 最终输入到全连接层中。

样本数据输入到OverFeat模型中进行训练, 经过模型训练的部分结果如图5所示。以研究区域图3(b)中红框标注的一幅芦苇I影像为例, 图5(a)为96张108ⅹ108的抽象特征图, 是其经过模型第一个卷积层的输出, 特征值从蓝色到红色逐渐增大。第一次池化层结果如图5(b)所示, 为96张36ⅹ36的特征图, 数据量明显减少, 达到降维目的。图5(c)为模型第6次卷积层的输出, 有1024张7ⅹ7的特征图, 图5(d)包括1024张2ⅹ2的特征图, 是模型第6次池化层的输出。对比第1次卷积、池化与第6次卷积、池化的结果, 可以发现OverFeat模型经过对输入影像的多次卷积池化, 使其激活的局部特征得到了有效的离散, 便于分类。

图5 长江口南汇潮滩芦苇特征提取结果

Figure 5 Extraction results of reeds in the Nanhui tidal flat of the Yangtze Estuary

OverFeat模型提取的潮滩植被深度特征经t-SNE算法运算后得到图6, 从图像中可以发现, 6种不同类别的数据点分别聚成簇, 而且不同簇之间分隔较大, 说明深度特征可以将相似地物之间的细微差别放大, 在对植被细节上的分类更准确。

2.5 潮滩植被SVM分类

实验将训练样本主成分分析后提取的潮滩植被光谱特征和基于OverFeat模型提取的潮滩植被深度特征分别输入到SVM分类器中进行训练。由于模型提取的深度特征维数很高, 所以本文选取线性核函数作为SVM分类器的核函数。最后, 对研究区域影像中的未知类别样本分别进行主成分分析光谱特征提取和OverFeat模型深度特征提取, 并将两种特征分别输入到相应训练好的SVM分类器中, 得到最终的潮滩植被分类图, 如图7所示。

图6 长江口南汇潮滩植被深度特征散点图

Figure 6 Scatter plot of depth characteristics of vegetation in Nanhui tidal flat of the Yangtze Estuary

2.6 潮滩植被分类结果

对比基于两种特征的SVM分类方法的植被分类图, 基于深度特征的SVM分类图7(b)比基于光谱特征的SVM分类图7(a)对不同植被之间的识别更加细致。对比研究区域图, 本文选取2个区域进行分析, 其中区域A为裸地与一枝黄花的交错区域; 区域B为芦苇I、芦苇II与一枝黄花II的交错区域。图7(b)中区域A中的裸地部分被很好的区分出来, 而在图7(a)中部分裸地被分为芦苇II, 是由于虽然芦苇II与裸地都属于高亮度区域, 但是模型提取的芦苇II与裸地的深度特征差别较大, 所以基于深度特征的SVM分类更准确。对比研究区域图, 在图7(b)中区域B的分布更接近于两种芦苇和一枝黄花II的真实分布, 这是因为深度特征可以将两种相似地物的细微差别放大, 得到更精确的分类结果。

2.7 潮滩植被分类精度

表2为基于OverFeat模型深度特征的SVM分类与传统SVM分类方法的混淆矩阵, 可以发现基于深度特征的SVM分类对于芦苇I的分类可以达到100%, 而芦苇II识别虽有提高, 但仍有一些裸地被分为芦苇II, 这是因为本文研究区域的裸地是一条两旁长满植被的小路, 其宽为1m左右, 而GF-2影像分辨率为1m, 当小路两旁植被植株过高时会遮挡部分小路, 使得这部分像元有植被特性, 而裸地和芦苇II都属于高亮度区域, 所以这部分容易被误分为芦苇II。一枝黄花II识别的准确率提高10.09%, 是因为减少了被分为一枝黄花I和芦苇I的情况, 尤其是在芦苇I、一枝黄花I与一枝黄花II的交错地带, 从图7也可明显看出这一结论。本文所用方法的总体精度为96.08%, 分类精度较好。

3 结论

本文将基于ImageNet数据集的预训练卷积神经网络OverFeat模型应用于GF-2卫星影像, 通过对长江口南汇潮滩不同植被进行深度特征提取, 并利用深度特征训练SVM分类器, 得到了较好的植被分类结果。证明了使用基于ImageNet数据集的预训练卷积神经网络可以将不同生长状态的植被细微差别放大, 很好地解决了相似地物难区分的问题。

图7 长江口南汇潮滩地物分类结果

Figure 7 Classification results of the Nanhui tidal flat in the Yangtze Estuary

表2 基于两种特征的SVM分类混淆矩阵/%

[1] DONAHUEO J, JIA Y, VINVALS O, et al. DeCAF: A deep convolutional activation feature for generic visual recognition[C]// International Conference on International Conference on Machine Learning. JMLR.org, 2014: I–647.

[2] HU F, XIA G S, HU J, et al. Transferring deep convolutional neural networks for the scene classification of high-resolution remote sensing imagery[J]. Remote Sensing, 2015, 7(11): 14680–14707.

[3] 张伟, 郑柯, 唐娉, 等. 深度卷积神经网络特征提取用于地表覆盖分类初探[J]. 中国图象图形学报, 2017, 22(8): 1144–1153.

[4] 党宇, 张继贤, 邓喀中, 等. 基于深度学习AlexNet的遥感影像地表覆盖分类评价研究[J]. 地球信息科学学报, 2017, 19(11): 1530–1537.

[5] 葛芸, 江顺亮, 叶发茂, 等. 基于ImageNet预训练卷积神经网络的遥感图像检索[J]. 武汉大学学报(信息科学版), 2018, 43(1): 67–73.

[6] 李冠东, 张春菊, 王铭恺, 等. 卷积神经网络迁移的高分影像场景分类学习[J]. 测绘科学, 2019, 44(4): 116–123, 174.

[7] MARMANIS D, DATCU M, ESCH T, et al. Deep Learning Earth Observation Classification Using ImageNet Pretrained Networks[J]. IEEE Geoscience & Remote Sensing Letters, 2016, 13(1): 105–109.

[8] SERMANET P, EIGEN D, ZHANG X, et al. OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks[DB/OL]. 2013, http://arxiv.org/ abs/1312.6229.

[9] 中国资源卫星应用中心. 高分二号[EB/OL]. 2014-10-15 [2018-03-19]. http://www.cresda.com/CN/Satellite/3128.shtml.

[10] MAATEN L, HINTON G. Visualizing data using t-SNE[J]. Journal of Machine Learning Research, 2008, 9: 2579– 2605.

[11] ROMERO A, GATTA C, CAMPS-VALLS G. Unsupervised Deep Feature Extraction for Remote Sensing Image Classification[J]. IEEE Transactions on Geoscience & Remote Sensing, 2016, 54(3): 1349–1362.

[12] 焦计晗, 张帆, 张良. 基于改进AlexNet模型的油菜种植面积遥感估测[J]. 计算机测量与控制, 2018, 26(2): 186– 189.

[13] 刘笑, 王光辉, 杨化超, 等. 全卷积神经网络遥感影像道路提取方法[J]. 遥感信息, 2018, 33(1): 69–75.

[14] 周秋文, 罗娅, 苏维词, 等. 基于多元信息的岩溶区植被类型信息快速提取方法构建[J]. 生态科学, 2015, 34(1): 135–141.

OverFeat Model for vegetation classification in Nanhui tidal flat of the Yangtze Estuary

LI Jing1, HAN Zhen1,2,*, WANG Wenliu1, CUI Yanrong1

1. College of Marine Sciences, Shanghai Ocean University, Shanghai 201306, China 2. Shanghai Engineering Research Center of Estuarine and Oceanographic Mapping, Shanghai 201306, China

The environment of the tidal flat is complex and variable, and the spectral characteristics between some vegetations are similar. In order to solve the problem that the classification accuracy of fine vegetation classification is not high, we use the OverFeat Model, which is the convolutional neural network based on ImageNet pre-training and the GF-2 satellite remote sensing image as experimental data, to extract the depth features of two different growth states of vegetation in Nanhui tidal flat of the Yangtze Estuary. The depth features of model-trained was inputed to the Support Vector Machine (SVM) classification to get information about vegetation. The results show that the classification accuracy of the method used in this paper is higher compared with the SVM classification method which is based on spectral features, and the overall accuracy can reach to 96.08%. It is proved that the pre-training convolutional neural network based on ImageNet data set can achieve better recognition for different growth states of vegetation.

ImageNet; convolutional neural network;OverFeat; feature extraction; classification

10.14108/j.cnki.1008-8873.2019.04.019

TP79

A

1008-8873(2019)04-135-07

2018-07-17;

2018-09-20

国土资源部公益性行业科研专项(201211009)

李静(1994—), 女, 硕士研究生, 主要从事遥感图像分类研究, E-mail : 463211189@qq.com

韩震(1969—), 男, 博士、教授, 主要从事海洋信息探测与应用研究, E-mail:zhhan@shou.edu.cn

李静, 韩震, 王文柳, 等. 基于OverFeat模型的长江口南汇潮滩植被分类[J]. 生态科学, 2019, 38(4): 135-141.

LI Jing, HAN Zhen, WANG Wenliu, et al. OverFeat Model for vegetation classification in Nanhui tidal flat of the Yangtze Estuary[J]. Ecological Science, 2019, 38(4): 135-141.