王李祺　张成　侯宇超　谭秀辉　程蓉　高翔　白艳萍

摘要 针对传统手工特征方法无法有效提取整体图像深层信息的问题，本文提出一种基于深度学习特征融合的场景分类新方法.利用灰度共生矩阵（GLCM）和局部二值模式（LBP）提取具有相关空间特性的纹理特征和局部纹理特征的浅层信息；通过基于AlexNet迁移学习网络提取图像的深层信息，在去除最后一层全连接层的同时加入一层256维的全连接层作为特征输出；将两种特征进行自适应融合，最终输入到网格搜索算法优化的支持向量机（GS-SVM）中对遥感图像进行场景分类识别.在公开数据集UC Merced的21类目标数据和RSSCN7的7类目标数据的实验结果表明，5次实验的平均准确率分别达94.77%和93.79%.该方法可有效提升遥感图像场景的分类精度.关键词 图像分类；卷积神经网络；灰度共生矩阵；局部二值模式；迁移学习；支持向量机

中图分类号TP183

文献标志码A

0 引言

随着遥感技术的不断发展[1]，遥感图像分类被广泛应用于土地管理、城市规划、交通监管等众多领域[2].然而，目前遥感场景图像包含的信息和结构丰富复杂，如何合理利用遥感图像中丰富的信息获取精准有效的特征，还面临诸多挑战[3].

遥感图像场景分类中常用传统手工特征提取图像的特征，包括颜色直方图、纹理特征、全局特征信息 （GIST）、尺度不变特征变换 （SIFT）等.李孚煜等[4]指出基于SIFT的遥感图像配准技术在尺度旋转不变性上具有优势；许君一等[5]将灰度共生矩阵（GLCM）作为主成分分析（PCA）的第一主分量，充分利用了GLCM在获取纹理特征上的稳健性.尽管传统手工特征具有较好的稳定性和表达整体浅层信息的能力，直接应用于低分辨率遥感图像场景分类任务中是可行的，但传统手工特征过于依赖人工设计且无法有效提取高分辨率遥感图像特征信息，使得在分类任务中不具有广泛应用能力.

为了有效解决上述问题和依靠单一特征导致模型缺乏泛化能力和分类性能低下的情况，学者们先后提出多种特征融合分类方法.陈旭等[6]提出基于GLCM和Tamura融合特征的纹理材质分类算法，通过提升GLCM的旋转不变性和减少大量的冗余信息，增强算法的鲁棒性和分类性能；张庆春等[7]采用多特征融合的算法提取局部熵、纹理特征等多个特征提高图像的分类性能；王钰等[8]采用新空间特征——二阶矩特征和光谱特征融合的方法实现道路精化；康健等[9]利用RFB模块获取高阶水体语义信息与多尺度，将初始多尺度特征与原始特征进行深层次融合，完成多尺度特征的提取，增强高阶水体语义信息特征.这些方法在考虑全局特征信息的同时，保留了浅层局部信息，通过浅层信息和全局特征信息融合的方法，在一定程度上提高了算法的泛化能力和分类性能.然而，这种特征融合会增加计算量，从而导致模型复杂度的增加和过拟合情况的发生.因此，本文算法中引入PCA模块，选用合适的主成分贡献率，去除冗余信息的同时提升模型分类性能

近年来，因深度学习算法在图像识别方面表现出的优越性，众多学者将卷积神经网络（CNN）引入遥感图像场景分类中.尽管目前CNN在场景分类方法中取得了较好的结果，但深度学习需要大量的数据标签，在可供学习样本较少的遥感图像场景分类领域，难以获取更可靠的图像特征信息.迁移学习通过ImageNet预训练网络，在小样本条件下的场景分类中能够获得较好的效果.Han等[10]利用预训练的AlexNet网络结合空间金字塔池化方法提高场景分类精度.有研究表明，提取CNN的深层特征进行不同方式的特征融合，最终将融合特征输入SVM（支持向量机）分类，效果优于CNN直接分类.因此本文选用网格搜索优化的SVM（GS-SVM）作为最终的分类器.Li等[11]指出在场景分类中融合预训练的CNN特征相比于原始CNN特征表现出更好的区分能力.Lu等[12]采用一种应用于场景分类的特征聚合（FACNN），通过预训练的CNN作为特征抽取器探索语义标签信息来学习图像特征.

综上所述，基于传统手工特征依赖人工设计、表达特征能力弱，特征融合增加模型复杂度和计算量，深度学习在缺乏大量数据标签时性能不佳，所以，本文提出基于深度学习特征融合的遥感图像场景分类方法（GL-LBP-CNN），对数据集UC Merced的21类和RSSCN7数据集的7类图像进行分类.利用GLCM和LBP（局部二值模式）提取具有相关空间特性的纹理特征和局部纹理特征的浅层特征，再利用基于AlexNet網络的迁移学习（AleCNN）提取全连接层的深度特征，并将提取的浅层特征与深度特征自适应融合后通过PCA降低冗余信息，最后输入到GS-SVM中进行分类.

1 特征提取高分辨率遥感图像场景分类主要利用图像的空间信息和少量的光谱信息来识别遥感图像的场景类别[13].本文在进行遥感图像分类时，通过灰度共生矩阵提取具有相关空间特性的纹理特征，然而只关注整体的纹理特征具有局限性，局部二值模式可以有效地提取遥感图像的局部纹理特征，最终构建一个整体特征与局部特征相融合的浅层纹理特征.再加入基于AlexNet网络的迁移学习模块提取遥感图像深层特征，最后将浅层特征与深层特征进行特征融合得到遥感图像最终特征.

1.1 灰度共生矩阵

1.2 局部二值模式

1.3 迁移学习

2 本文方法

结合上述3种特征提取使用GS-SVM（网格搜索支持向量机）作为分类器，提出GL-LBP-CNN方法.

2.1 GS-SVM模型

2.2 方法步骤

3 实验结果与分析

3.1 数据集

3.2 实验设置

实验在MATLAB R2019b的环境下进行，处理器型号为AMD Ryzen5 3500X.本文模型实验中在UC Merced数据集上训练集和测试集分别为每类的80%和20%，在RSSCN7数据集上训练集和测试集均为每类的50%.AlexNet预训练网络基于ImageNet数据集，实验中批量大小为10，初始学习率为0.0001， 迭代次数为 10 次.实验部分采用分类精度、时间开销、混淆矩阵、F1和kappa系数作为评价指标.

3.3 对比实验为对比手工特征模块相较于单一手工特征的性能，将两个基准数据集通过GLCM-LBP、GLCM和LBP手工特征进行分类精度、F1和kappa系数比较.结果如表1所示.

由表1可知：在UC Merced 数据集上GLCM-LBP模块相较于GLCM和LBP单个特征在分类精度上分别提高19.53个百分点和4.53个百分点，在F1分数和kappa系数上均有不同程度的提升；在RSSCN7数据集上GLCM-LBP模块相较于GLCM和LBP单个特征在分类精度上分别提高17个百分点和2.28个百分点，同样在F1分数和kappa系数上都有更佳的表现.结果表明传统手工特征提取的浅层特征，经过融合特征后表达图像信息的能力优于单一特征，且两种不同的浅层特征可以起到信息互补的作用，从而增强模型的泛化能力和分类性能.然而，不管是GLCM-LBP模块还是GLCM和LBP这种单一手工特征，在两个基准数据集上均没有取得优良的分类性能，表明手工特征无法有效提取图像更高层的语义信息和有效解决高分辨率遥感场景图像分类的能力.图6和图7是GLCM-LBP模塊分别在UC Merced 数据集和RSSCN7数据集的混淆矩阵.由UC Merced 数据集的混淆矩阵可知，建筑物、密集住宅、路口、中型住宅、稀疏住宅、储油罐和网球场7个类别的分类精度没有超过83.1%，而这些类别具有图像复杂的特征，且建筑物、密集住宅、中型住宅、稀疏住宅具有类间相似高、类内相似低的特性，极大地干扰了模型分类的性能.密集住宅类别中分类错误的图像大多被误分类到了其他3类.由RSSCN7数据集的混淆矩阵可知，工业、居民区和停车场3个类别的分类精度没有超过81.14%，其中工业类别分类错误的图像有78.79%被错误分类到居民区和停车场中，居民区类别分类错误的图像有84.21%被错误分类到工业和停车场中，停车场类别分类错误的图像有81.25%被错误分类到工业和居民区中.因此，传统手工特征无法充分表达复杂特征图像的信息，且无法有效解决类间相似高、类内相似低的问题.

将GL-LBP-CNN方法在UC Merced数据集上与SVM-LDA[18]、MU-DenseNet[19]、FK-S[20]和MS-DCNN[21]比较，在RSSCN7数据集上与S-head-attention[22]、M-head-attention[22]、pre-trained Resnet50 features+SVM[23]和TLMoE-Resnet50[23]比较，结果如表2所示.

由表2可知，在UC Merced 和RSSCN7数据集上GL-LBP-CNN分别取得了94.77%和93.79%的分类精度，均优于对比方法.本文方法不仅在分类精度上具有优越性，还具有较强的泛化能力，能适用于多种场景分类数据集.

3.4 消融实验为了更深入探究预训练AlexNet不同维数的全连接层表达图像信息的能力，实验对比了64维、256维和512维全连接层输出的特征，结果如表3所示.

由表3可知：在UC Merced数据集和RSSCN7数据集中，预训练AlexNet的全连接层的维数和时间开销成正比，且倍数基本保持一致；在两个数据集中，AlexNet-256的分类精度均优于AlexNet-64和AlexNet-512.结果表明，全连接层输出特征维数过高，会产生一定的冗余信息，在SVM分类器中效果不理想.特征融合后场景图像输出特征维数增加，模型的复杂度和计算量有所提高，大大增加了模型的时间开销.本文通过对比不同的主成分贡献率对GL-LBP-CNN分类精度和时间开销的影响以获取一个较优的参数.结果如表4所示.

由表4可知，在UC Merced数据集上，主成分贡献率为95%时分类精度最高，达94.77%，当主成分贡献率为50%时，分类精度只有77.14%，表明在PCA降维过程中丢失了过多有效信息.在权衡时间开销和分类精度的过程中，分类精度是至关重要的，因此选择95%主成分贡献率.在RSSCN7数据集上，主成分贡献率为90%时分类精度最高，为93.79%，当主成分贡献率为50%时，分类精度仅为83.07%，综合分类精度与时间开销，最终选择90%主成分贡献率.上述实验结果表明，特征融合在增加模型复杂度和计算量的同时会产生冗余信息，在一定程度上会降低模型的分类精度.而本文引入的PCA方法可以有效降低冗余信息和模型计算量，在保证分类精度的同时，减少时间开销.为探究在GL-LBP-CNN方法中浅层信息对预训练网络提高场景分类性能的有效性，将GLCM和LBP单一手工特征分别和AleCNN融合，结果如表5、6所示.

由表5可知，不同的手工特征对于AleCNN提取的图像信息有不同程度的补充.在UC Merced数据集上，LBP-AleCNN和GLCM-AleCNN的分类精度优于AleCNN.尽管GLCM的分类精度低于LBP，但在对AleCNN的特征信息补充上略微优于LBP，表明两种纹理特征在作用于深层语义特征时，会有不同的信息补充.在RSSCN7数据集上，LBP-AleCNN和GLCM-AleCNN的分类精度也优于AleCNN.实验结果表明浅层特征对于提高AleCNN场景分类能力具有一定的有效性.由表6可知，两个数据集上GL-LBP-CNN相较于预训练AleCNN在F1和kappa系数上均取得更优的结果，表明GL-LBP-CNN方法在每类的准确率和召回率上达到较高的精度且预测结果和实际分类结果具有较好的一致性.

图8和图9是GL-LBP-CNN方法分别在UC Merced 数据集和RSSCN7数据集的混淆矩阵.将图8与图6比较，可知建筑物、密集住宅、路口、中型住宅、稀疏住宅、储油罐和网球场7个类别的分类精度都有不同程度的提高，7类的平均分类精度由原来的64.29%上升到了87.14%.将图9和图7比较，可知工业、居民区和停车场3个类别的分类性能得到大幅度提升，其中居民区类别分类错误率仅有0.5%，且没有被错误分类到工业和停车场中，停车场类别分类错误率仅有8%，且被错误分类到工业和居民区中的图像大幅度减少.表明GL-LBP-CNN方法极大地增加了模型表达复杂图像信息的能力，有效地解决了类间相似高、类内相似低的问题.

4 结论本文提出的GL-LBP-CNN方法，不仅能提取图像的整体与局部相结合的浅层特征，還融入AleCNN提取的深度特征.通过PCA降维有效地解决了特征维数扩大后计算量增加等问题，在不影响分类精度的同时，提高了算法的分类效率.并采用网格搜索优化SVM以提高分类器分类的性能.在UC-Merced数据集和RSSCN7数据集中的实验结果表明，本文模型优于对比方法，5次平均分类精度分别达94.77%和93.79%.未来将进一步优化预训练网络结构以及从通道注意力、多尺度特征融合、优化分类器角度出发，设计出更加轻量高效的方法.

参考文献 References

［1］Zhao B，Zhong Y F，Xia G S，et al.Dirichlet-derived multiple topic scene classification model for high spatial resolution remote sensing imagery[J].IEEE Transactions on Geoscience and Remote Sensing，2016，54（4）：2108-2123

[2] Chen S Z，Tian Y L.Pyramid of spatial relatons for scene-level land use classification[J].IEEE Transactions on Geoscience and Remote Sensing，2015，53（4）：1947-1957

[3] Yu D H，Guo H T，Xu Q，et al.Hierarchical attention and bilinear fusion for remote sensing image scene classification[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2020，13：6372-6383

[4] 李孚煜，叶发茂.基于SIFT的遥感图像配准技术综述[J].国土资源遥感，2016，28（2）：14-20LI Fuyu，YE Famao.Summarization of SIFT-based remote sensing image registration techniques[J].Remote Sensing for Land & Resources，2016，28（2）：14-20

[5] 许君一，徐富宝，张雅琼，等.基于灰度共生矩阵的未利用地疑似污染遥感识别[J].北京工业大学学报，2018，44（11）：1423-1433XU Junyi，XU Fubao，ZHANG Yaqiong，et al.Monitoring suspected pollution on unutilized land using gray-level co-occurrence matrices[J].Journal of Beijing University of Technology，2018，44（11）：1423-1433

[6] 陈旭，高亚洲，陈守静，等.基于T-GLCM和Tamura融合特征的纹理材质分类[J/OL].南京信息工程大学学报（自然科学版）：1-11[2022-03-05].http：//kns.cnki.net/kcms/detail/32.1801.N.20211123.2031.004.htmlCHEN Xu，GAO Yazhou，CHEN Shoujing，et al.Classification of textured materials based on T-GLCM and Tamura fusion features[J/OL].Journal of Nanjing University of Information Science & Technology （Natural Science Edition）：1-11[2022-03-05].http：//kns.cnki.net/kcms/detail/32.1801.N.20211123.2031.004.html

[7] 张庆春，佟国峰，李勇，等.基于多特征融合和软投票的遥感图像河流检测[J].光学学报，2018，38（6）：320-326ZHANG Qingchun，TONG Guofeng，LI Yong，et al.Riverdetection in remote sensing images based on multi-feature fusion and soft voting[J].Acta Optica Sinica，2018，38（6）：320-326

[8] 王钰，何红艳，谭伟，等.一种多特征融合的高分辨率遥感图像道路提取算法[J].遥感信息，2019，34（1）：111-116WANG Yu，HE Hongyan，TAN Wei，et al.High resolution remote sensing image road extraction algorithm based on multi-feature fusion[J].Remote Sensing Information，2019，34（1）：111-116

[9] 康健，管海燕，于永涛，等.基于RFA-LinkNet模型的高分遥感影像水体提取[J].南京信息工程大学学报（自然科学版），2023，15（2）：160-168KANG Jian，GUAN Haiyan，YU Yongtao，et al.RFA-LinkNet：a novel deep learning network for water body extraction from hig-resolution remote sensing images[J].Journal of Nanjing University of Information Science & Technology （Natural Science Edition），2023，15（2）：160-168

[10] Han X B，Zhong Y F，Cao L Q，et al.Pre-trained AlexNet architecture with pyramid pooling and supervision for high spatial resolution remote sensing image scene classification[J].Remote Sensing，2017，9（8）：848

[11] Li E Z，Xia J S，Du P J，et al.Integrating multilayer features of convolutional neural networks for remote sensing scene classification[J].IEEE Transactions on Geoscience and Remote Sensing，2017，55（10）：5653-5665

[12] Lu X Q，Sun H，Zheng X T.A feature aggregation convolutional neural network for remote sensing scene classification[J].IEEE Transactions on Geoscience and Remote Sensing，2019，57（10）：7894-7906

[13] 钱晓亮，李佳，程塨，等.特征提取策略对高分辨率遥感图像场景分类性能影响的评估[J].遥感学报，2018，22（5）：758-776QIAN Xiaoliang，LI Jia，CHENG Gong，et al.Evaluation of the effect of feature extraction strategy on the performance of high-resolution remote sensing image scene classification[J].Journal of Remote Sensing，2018，22（5）：758-776[14] 聂光涛，黄华.光学遥感图像目标检测算法综述[J].自动化学报，2021，47（8）：1749-1768NIE Guangtao，HUANG Hua.A survey of object detection in optical remote sensing images[J].Acta Automatica Sinica，2021，47（8）：1749-1768

[15] 余东行，张保明，赵传，等.联合卷积神经网络与集成学习的遥感影像场景分类[J].遥感学报，2020，24（6）：717-727YU Donghang，ZHANG Baoming，ZHAO Chuan，et al.Scene classification of remote sensing image using ensemble convolutional neural network[J].Journal of Remote Sensing，2020，24（6）：717-727

[16] Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks[J].Communications of the ACM，2017，60（6）：84-90

[17] 张成，侯宇超，焦宇倩，等.基于三通道分离特征融合与支持向量机的混凝土图像分类研究[J].图学学报，2021，42（6）：917-923ZHANG Cheng，HOU Yuchao，JIAO Yuqian，et al.Research on concrete image classification based on three-channel separation feature fusion and support vector machine[J].Journal of Graphics，2021，42（6）：917-923

[18] Zhang F，Du B，Zhang L P.Saliency-guided unsupervised feature learning for scene classification[J].IEEE Transactions on Geoscience and Remote Sensing，2015，53（4）：2175-2184

[19] 張艳月，张宝华，赵云飞，等.基于双通道深度密集特征融合的遥感影像分类[J].激光技术，2021，45（1）：73-79ZHANG Yanyue，ZHANG Baohua，ZHAO Yunfei，et al.Remote sensing image classification based on dual-channel deep dense feature fusion[J].Laser Technology，2021，45（1）：73-79

[20] Zhao B，Zhong Y F，Zhang L P，et al.The fisher kernel coding framework for high spatial resolution scene classification[J].Remote Sensing，2016，8（2）：157

[21] 许夙晖，慕晓冬，赵鹏，等.利用多尺度特征与深度网络对遥感影像进行场景分类[J].测绘学报，2016，45（7）：834-840XU Suhui，MU Xiaodong，ZHAO Peng，et al.Scene classification of remote sensing image based on multi-scale feature and deep neural network[J].Acta Geodaetica et Cartographica Sinica，2016，45（7）：834-840

[22] 李彥甫，范习健，杨绪兵，等.基于自注意力卷积网络的遥感图像分类[J].北京林业大学学报，2021，43（10）：81-88LI Yanfu，FAN Xijian，YANG Xubing，et al.Remote sensing image classification framework based on self-attention convolutional neural network[J].Journal of Beijing Forestry University，2021，43（10）：81-88

[23] 龚希，陈占龙，吴亮，等.用于高分辨遥感影像场景分类的迁移学习混合专家分类模型[J].光学学报，2021，41（23）：2301003GONG Xi，CHEN Zhanlong，WU Liang，et al.Transfer learning based mixture of experts classification model for high-resolution remote sensing scene classification[J].Acta Optica Sinica，2021，41（23）：2301003

Remote sensing image scene classification based on deep learning feature fusion

WANG Liqi ZHANG Cheng HOU Yuchao TAN Xiuhui CHENG Rong GAO Xiang BAI Yanping

1School of Mathematics，North University of China，Taiyuan 030051

2School of Information and Communication Engineering，North University of China，Taiyuan 030051Abstract In view that traditional manual feature extraction method cannot effectively extract the overall deep image information，a new method of scene classification based on deep learning feature fusion is proposed for remote sensing images.First，the Grey Level Co-occurrence Matrix （GLCM） and Local Binary Patterns （LBP） are used to extract the shallow information of texture features with relevant spatial characteristics and local texture features as well;second，the deep information of images is extracted by the AlexNet migration learning network，and a 256-dimensional fully connected layer is added as feature output while the last fully connected layer is removed;and the two features are adaptively integrated，then the remote sensing images are classified and identified by the Grid Search optimized Support Vector Machine （GS-SVM）.The experimental results on 21 types of target data of the public dataset UC Merced and 7 types of target data of RSSCN7 produced average accuracy rates of 94.77% and 93.79%，respectively，showing that the proposed method can effectively improve the classification accuracy of remote sensing image scenes.

Key words image classification;convolutional neural network （CNN）;grey level co-occurrence matrix （GLCM）;local binary patterns （LBP）;migration learning;support vector machine （SVM）