刘汉青，赵庆展，田文忠，王学文

（1 石河子大学机械电气工程学院, 新疆 石河子 832002；2 石河子大学信息科学与技术学院, 新疆 石河子 832002;3 兵团空间信息工程技术研究中心, 新疆 石河子 832002；4 兵团工业技术研究院, 新疆 石河子 832002）

成像光谱技术自上世纪八十年代初期产生，经过接近半个世纪的发展，孕育出成像光谱学等新兴学科类别[1]。高光谱成像技术作为成像光谱技术中的新成员，已经成为植被调查、大气遥感、农业遥感、环境监测等领域的重要技术手段。高质量影像数据获取已经成为现代农业数据组成中的重要研究方法之一，是判断现代化作物种植、管理、监测情况的重要依据[2]。准确高效地评价光谱影像数据的质量，一方面可以对影像采集过程的结果进行综合分析，另一方面可以指导下一阶段不同成像算法的选择和影像应用[3]。针对卫星影像数据质量评估研究，董胜越等[4]对我国高分五号卫星（GF-5）搭载的全谱段光谱成像仪获取的全波段影像，通过信噪比、清晰度、信息量、辐射不均一性等指标，同美国Landset 8卫星影像数据进行了横向对比。实验结果表明GF-5号影像数据在不同波段内的数据量分布不同且数据质量不同，部分波段与Landset 8影像质量差异显著。王崇倡等[5]针对GF-5的AHSI （visible short wave infrared Advanced Hyperspectral Imager, AHSI）数据进行全面研究，利用标准差、清晰度、信息熵3个指标对可见短波红外谱段数据质量以及可用性分析，结果表明其影像信息主要集中在可见近红外和短波红外第1-95波段内，部分波段受水汽影响严重导致无法应用。影像质量评估技术的发展让数字影像的应用场景精准化，对于推进生产实践以及学科研究具有重要意义。

随着无人机（Unmanned Aerial Vehicle，UAV）技术、光谱成像技术以及计算机技术的进一步发展，机载高光谱成像系统开始在多个领域崭露头角。该系统由于运载便利、灵活性高、作业周期短、可快速高通量地获取田间作物表型信息，结合其影像数据分辨率高、良好成像性能、设备维护简单等多方面优势，机载高光谱成像系统的应用成为了研究热点之一[6]。机载高光谱成像系统同样面临数据获取过程中的失真问题，自然环境下光谱遥感数据在采集传输过程中受到多方面的因素干扰，如气流扰动、电子干扰、温度漂移等，会产生影像失真的情况[7]。为了减少高光谱影像数据失真的影响，高林等[8]在围绕光谱特征信息所开展的无人机高光谱遥感反演作物叶面积指数的研究中，使用均值计算来降低感兴趣区域内的地物光谱反射率误差，并使用光谱辐射仪采样对计算结果进行对比，表明458～830 nm波段范围内数据质量较高满足实验要求，有利于冬小麦叶面积指数反演。实验从光谱曲线变化趋势、光谱相关性以及目标地物光谱差异三方面展开分析，通过筛选敏感波段进行叶面积指数反演，但未能充分利用获取影像的空间信息对整体实验区域影像进行质量评估，使得影像获取后数据处理工作变得比较复杂。秦占飞等[9]基于机载光谱成像平台，结合统计分析以及遥感影像成图技术，通过构建合适的光谱指数，建立合适的回归模型对实验区域内的水稻叶片含氮量进行估测，实验中发现偏最小二乘法由于模型复杂且因数据降维处理影响，导致估算精度较差。且光谱数据在850 nm波段后噪声严重，使用均值法进行区域像素平均计算可在一定程度上减少实验误差。由此可见机载高光谱影像数据质量的好坏直接影响着研究实验的最终结果。

卷积神经网络（Convolutional Neural Networks, CNN）由于其权值共享机制以及卷积运算方式，在图像处理方面有着优异的性能，为图像质量评价工作提供了新思路与新方法[10]。曹玉东等[11]结合并行小规模卷积神经网络，对现有公开数据集图像进行质量评估的研究，提出了一种无参考的图像质量评价方法。得益于卷积运算对图像细微特征的提取能力，模型结构简单稳定泛化力强，能分辨图像样本间的细微差异。黄法秀等[12]针对人脸识别准确率低的问题，使用卷积神经网络对人脸图像亮度与清晰度的质量评价研究，结果表明模型在人脸图像上的识别准确率高达90%以上。目前来看图像质量研究仍以可见光影像为主，针对高光谱影像数据的质量研究尚在起步阶段。侯睿等[13]为了解决小数据集下影像质量评价模型学习带来的过拟合问题，基于全连接神经网络以及光谱数据统计学特征，提出了一种基于多特征融合的星载高光谱影像质量评价深度学习结构。使用Landset 8卫星遥感影像，利用光谱相关性、空间相关性等关键数据特征构建特征向量，极大地提高了影像质量评价的准确性，但并未探索卷积网络在星载高光谱影像质量评价应用上的方法。当前，用无人机开展多（高）光谱数据获取用以农情监测成为热点，但针对无人机高光谱影像质量评价的研究较少。由于机载光谱成像系统在巡航作业中不可避免地出现姿态变化以及采集过程中噪声信号的干扰，而导致所采集的影像数据产生模糊、噪声失真。如何高效地筛选高质量的光谱影像，对于完善现代化作物种植管理、监测体系有着重要意义。本文以棉花的机载高光谱数据为对象，使用卷积神经网络结合主观图像质量判读方法，探索卷积神经网络在辨别机载棉花高光谱影像模糊失真与噪声失真的可能，提出一种基于卷积神经网络的无人机高光谱遥感数据质量评价的方法。

1 材料与方法

本文研究技术路线如图1所示，包括数据获取与预处理、数据增强、影像目视判读分级处理、数据集生成、模型生成与训练以及模型评价6个阶段。（1）选择合适影像采集作业的棉花种植区域，结合物候特征使用机载高光谱成像系统采集棉花高光谱影像数据，通过高光谱影像预处理得到原始影像；（2）通过模拟图像采集与传输过程中的模糊与噪声失真，对采集到的原始影像进行数据增强处理；（3）将获取的影像尺寸统一为1 024×1 024后进行随机分配，由专家进行目视判读质量分级处理；（4）将标注后的影像统一裁剪为256×256×42的大小，共计2 400幅，按照7∶1.5∶1.5划分为数据集、验证集、测试集；（5）使用深度学习框架搭建卷积神经网络，对模型的初始参数进行调试，以探索不同参数对模型训练效果的影响，找出最佳模型参数进行模型训练；（6）使用测试集进行高光谱数据质量分级评价实验，结合模型评价指标给出当前模型评估结果，同时与其他网络模型实验结果进行比对，分析实验结果并进行探讨。

图1 技术路线图

1.1 实验设备

无人机平台采用大疆M600PRO六轴飞行器，结合如影Ronin-MX航拍三轴云台来保证高光谱成像设备平稳运行。高光谱成像仪采用芬兰SENOP公司生产的Rikola高光谱成像仪，其主要性能参数如表1所示。

表1 Rikola 高光谱成像仪性能参数

1.2 数据采集

本次实验区域位于新疆塔城地区沙湾县蘑菇湖村，其位于44.413 3°N，85.894 7°E。沙湾县属于大陆性中温带干旱气候，全年累计太阳日照时数约为2 800～2 870 h，平均气温6.4 ℃～6.8 ℃，无霜期170～190 d，年降水量140～350 mm，年蒸发量为1 500～2 000 mm，土质松软适合多种作物生长，研究区主要为裸土以及棉花作物。为了保证高光谱影像获取的数据有效性，选择晴朗的天气在光照条件充分的情况下进行数据采集。设定无人机巡航高度100 m，巡航速度8 m·s-1，航向重叠率80%，旁向重叠率70%，共采集118张42波段的原始高光谱影像，研究区数据获取结果如图2所示。

图2 研究区数据获取结果

1.3 数据处理

数据处理包含高光谱影像预处理、实验数据增强处理以及数据标定处理3个部分。针对采集到的Rikola高光谱数据首先进行数据格式转换和暗电流矫正，由于高光谱影像数据波段较多且在飞行运动中，在相机触发曝光后波段顺序采集的影像并不完全重叠，但该相机成像方式为框幅式成像波段配准算法简单成熟，先进行波段配准处理后，再进行影像拼接，拼接后得到的影像长约155.8 m，宽约85.4 m。

使用GDAL （Geospatial Data Abstraction Library，GDAL）以及OpenCV函数库对含有地理坐标信息的影像数据进行数据增强处理，以避免模型泛化力弱的现象产生。由于遥感系统内影像失真以模糊失真和噪声失真最为常见[14]，因此针对采集到的高光谱数据进行逐波段影像模糊和噪声添加处理。均值模糊由于计算效率高且易于产生视觉上可接受的模糊处理效果，被用来近似无人机巡航采样下因气流扰动产生的失焦模糊现象。均值模糊处理是指在图像上给目标像素一个模板，该模板包含其周围的临近像素，通过模板计算选中区域内的像素平均值来替换原位置处的像素值，模糊运算的具体计算方法如下：

（1）

式中，K表示当前像素点计算结果，W表示模板横向大小，H表示模板纵向大小，本文使用W=H进行模糊处理。高斯噪声是指图像上出现的噪声信号其概率密度符合高斯分布的一类失真。其概率密度表示如下：

（2）

式中，x为噪声大小，μ表示均值，σ2表示方差。对采集到的影像添加μ=0，σ2依次等于0、0.005、0.01、0.02、0.04的高斯噪声。图3列出了部分数据增强后的棉花影像，其横向为模糊处理结果对比，纵向为高斯噪声添加处理结果对比，为了避免均值处理对噪声信号的平滑作用，先进行模糊处理后再进行噪声信号的添加。

图3 实验区域内同一时期棉花数据增强变化对比（16,9,1波段合成影像）

遥感影像质量评价的一般方法分为两类，客观评价方法和主观评价方法。客观评价方法根据是否有参考图像分为全参考、半参考和无参考质量评价[15]。而主观评价方法是在测试人员目视判读情况下，对图像纹理，图像清晰度，图像呈现的细节等方面进行评估的一种手段。由于遥感应用中所采集的影像大多为真实状态下的数据，难以获得标准参考影像，使得全参考评价方法受到限制。并且无参考图像评价基于统计学原理计算图像评价特征指标，一张图像在不同计算方法下结果差异显著，难以确定统一标准进行直接评价。人眼作为接受图像的第一感官，对人类视觉系统（Human Visible System, HVS）以及图像判读方式的深入理解，始终推进着计算机图像质量评估方式的进步，大量研究表明结合HVS工作特性开展图像质量评估工作，能显著提高图像质量的评价准确性[15]。因此根据实验样本间的差异采用专家观察方法对数据集进行标定，具体采用双激励损伤量表法对所采集的样本数据进行标定[16]。双激励损伤量表法是指观察者在评价图像的同时对无损伤的原始影像进行观察，通过观察两者之间的差异性，根据表2主观评价图像质损伤量表，给出被观察图像质量评价结果[17]。

表2 主观评价图像质损伤量表

实际操作中经熟悉遥感影像背景知识的专家，以预处理后未进行失真处理的高光谱影像为参考对实验所使用的高光谱影像进行质量分级标定，分级标准为表2内的5个等级，分别以数字5、4、3、2、1来表示，数值越大影像质量越高[18]。为了便于神经网络进行数据读取与运算，将影像数据统一裁剪为256×256共2 400张的棉花高光谱影像，经质量分级标定后按照7∶1.5∶1.5的比例生成数据集（1 680张）、测试集（360张）、验证集（360张）。

1.4 模型定义与训练

神经网络通过迭代计算来减少学习结果与样本标签之间的差异，在此过程中优化权值，更新参数以达到预测影像质量等级的目的。Inception结构的第一次出现是参加2014年ImageNet大规模视觉识别挑战比赛，由于该网络致力于在保持网络结构稀疏的情况下，保证密集矩阵运算的性能，创新地提出将网络横向结构扩大并取消了全连接层，在使用稀疏结构下使用不同大小的卷积运算拼接不同特征，同时还引入1×1卷积运算解决维度爆炸的问题，使其网络结构在高维特征的计算上更有优势，避免了臃肿网络下模型性能退化的现象[19]。对应于高光谱数据的高纬度、高分辨率特征，本研究中结合Inception卷积结构对多维度图像特征提取的优势，设计一种适合高光谱影像质量分级评价的网络结构，该网络通过多层卷积、扩大网络横向结构来提高模型准确率，并使用全局平均池化减少运算参数，通过全连接层输出分集结果，模型结构如图4所示。

图4 棉花高光谱影像质量分级评价网络

卷积网络一般结构为卷积层、池化层以及全连接层。由于高光谱影像数据不同于一般遥感影像，其特征提取困难而经常产生欠拟合的情况，因此采用Inception网络结构块的形式进行特征提取。该结构使用多层卷积计算，不同大小的卷积核在处理高光谱影像时由于感受野的不同，特征抽象能力不同，且进行网络横向规模的扩大，在保留大量特征数据的同时，结合1×1卷积、全局池化的操作来减少计算参数，从而提高网络计算效率。

实验选择4层Inception结构以及2层全连接网络来防止欠拟合现象的产生。该模型数据输入大小为256×256×42的高光谱影像，进入网络计算时需归一化处理；经过第1层3×3步长为2（stride=2）的卷积计算，输出16通道特征提取结果；随后进入Block计算，Block one与 Block three均采用步长为2（stride=2）的卷积核，方便特征图像尺寸的减少；Block two、Block four采用步长为1（stride=1）的卷积核，有利于保留卷积计算信息；激活函数均用Relu函数。数据计算过程中每经过两个Block，卷积通道数增加一倍，通过Block four计算后进行全局池化以及两个连续的全连接层；第1个全连接层的神经元个数为网络初始化通道数×网络输出分类数，激活函数为Relu；第2层神经元个数为5以满足五分类的实验需求，经Softmax函数计算后输出。由于样本标签并未使用独热编码（One-Hot Encoding）标记，因此使用稀疏交叉熵作为损失函数。

图5 PCA处理后特征数据样本散点图

为了观测卷积神经网络对训练样本的特征的提取效果，使用主成分分析（Principal Component Analysis，PCA）将网络分类输出前的特征向量压缩至三维显示在空间坐标系内，样本点分布情况如图5所示。5种颜色代表5个质量等级的机载棉花高光谱影像。可以看出特征抽取后的高光谱影像样本被分类在空间内的不同扇形区域且样本类别之间有较为清晰的边界划分，即能够找到一个空间平面用于分类样本点。说明该网络能够对高光谱影像样本进行有效的特征抽取，以完成对不同质量的高光谱影像准确分类的目的。

1.5 模型评价指标

本次研究主要目的在于棉花高光谱影像质量分级评价属于多分类问题。模型评价指标宜采用准确率（Accuracy）、平均精确率（Average precision, AP）、Kappa系数进行模型精度验证[20]。不同评价标准计算方法如下：

（3）

（4）

（5）

式中，n∈（1,2,3,4,5），T表示总体样本中被正确分类的样本数，A表示总体样本个数，TPi表示第i类样本内正确预测的正例样本个数，FPi表示第i类样本内被错误预测的正例样本的个数，ai+表示预测结果混淆矩阵内第i行的总观测数，b+i表示预测结果混淆矩阵内第i列的总观测数。

1.6 实验环境与参数配置

实验在以下硬件环境中完成：英特尔Xeon Silver 4110 CPU@2.10 GHz，32 GB内存，单个NVIDIA Quadro P2000 GPU。软件使用Tensorflow1.13.1深度学习开源框架，CUDA通用并行计算架构 （11.0版本）。在训练和测试过程中，均采用大小为 256×256×42的影像数据。在本次研究中为了保证输入影像的准确性，输入影像均为TIFF格式，存储模式为逐波段存储（Band sequential format, BSQ），有利于影像空间分布信息的显示与处理。

2 结果与分析

2.1 模型超参数调试

深度学习模型的可解释性较差类似于黑盒学习，需要对超参数反复调试以验证当前网络分类能力是否满足研究需要。本文采用人工设定的方法来确定网络训练的超参数，通过对比不同超参数选择的训练过程实现参数调优。表3记录着不同超参数的选择范围。

为了确定合适本文网络的超参数，结合控制变量法使用训练集样本对模型进行训练，验证集来验证。实验设定最大迭代次数为100（epochs=100），通过分析不同参数下模型分类精度变化曲线，了解不同参数的选取对模型训练效果的影响。超参数调整实验对比结果如图6所示，其中a、b、c、d分别表示迭代计算过程中不同参数在数据集上的结果，其上方描述模型在训练集的准确率变化，下方描述模型在验证集的准确率变化。

表3 超参数的选择范围

图6 超参数调整实验对比结果

（1）模型提取能力受初始通道数影响。分析图6a发现始通道过大（init_ch=32）或过小（init_ch=8）时，相同迭代次数下模型分类精度下降。较大的特征输出通道一方面增大模型运算参数，另一方面使信息冗余性增大，模型训练过程中容易产生较大波动。过小的特征通道，尽管训练过程平稳，但图像信息提取能力下降，表现不如初始通道为16时模型精度高。由于网络结构中存在卷积通道扩大操作，采用8通道作为输入时最后一层卷积输出结果仅为64通道，采用16通道输入时后一层卷积输出达到128层，在满足信息提取的同时，避免了256层输出时因信息冗余度大造成模型提取能力下降的可能。

（2）高光谱图像质量分类模型收敛速度易受初始学习率影响。由图6b可以看出过大（Lr = 0.01）或过小（Lr = 0.000 01）的学习率使得模型无法有效收敛甚至无法学习。当学习率为0.000 1时虽然不如0.001时的训练效率高，但整个训练过程平稳。结合最大迭代次数以及影像数据规模的考虑，认为学习率为0.000 1时更加符合研究需求。

（3）高光谱图像质量分类模型训练平稳性与迭代输入数据量的大小有关。由于高光谱图像数据量大，过大的batch_size对计算机数据读取效率影响很大，因此对单次循环使用的样本大小进行对比分析。图6c对比batch_size的实验中由于网络模型结构限制，较小的batch_size能够增加单次循环中的计算次数。当batch_size=8时一次循环内迭代次数为210次（1 680/8=210），100次循环共计21 000次迭代计算，以保证训练过程中神经网络充分利用数据间的差异性与复杂性。

（4）不同优化策略对训练效果影像显著。均方根传播算法 （Root Mean Square Prop, RMSProp）作为随机梯度下降法（Stochastic Gradient Descent, SGD）的发展，通过引入一个衰减系数，让学习率每回合都衰减一定比例，避免学习过程过早的结束，但未能摆脱对全局学习率的影响。Adam（Adaptive Moment Estimation, Adam）优化器结合RMSProp与动量的优点，通过计算梯度的一阶矩估计和二阶矩估计为不同的参数设计独立的自适应性学习率。Adamax作为Adam方法的变体，仅使得学习率的边界范围计算更加简单。通过图6d优化器对比实验结果可知，相比RMSProp以及Adamax，Adam优化器针对本文使用的棉花高光谱影像数据集在分类效果上表现更佳。

结合上述实验过程，超参数的选取如下：初始学习率=0.000 1，单次迭代样本数据量大小batch_size=8，模型初始通道数init_ch =16，优化器使用Adam。

2.2 训练结果与实验分析

为了验证网络性能，实验在确定超参数后将epochs提高至1 000，共计210 000次迭代。文章使用的卷积神经网络在数据集上的实验结果如图7所示，分别记录了模型在训练集与验证集的计算结果以及模型在测试集上的混淆矩阵。

图7 实验结果

由图7a不难发现随着迭代次数增多网络模型逐渐收敛，前200次迭代计算时损失函数快速下降模型加速收敛，随后模型损失函数缓慢下降，经800次迭代后网络在验证集上的分类准确率达到较高水平。图7b混淆矩阵表示了样本被分类的准确程度，可以看出测试集样本内以较差样本观测总量最多，优良样本观测总量最少符合样本一般规律，且测试集内绝大部分样本被准确分类沿矩阵对角线分布，个别样本被错误分类。

通过多次试验进行更为准确的模型精度测量。表4记录了不同评价标准在多次独立测试的结果对比以及算数平均值，测试结果1、2、3分别使用测试集样本的60%、80%、100%进行模型精度验证。

表4 不同评价标准在多次测试中的结果对比

为了验证本研究使用网络结构的有效性，在测试过程中与3类常见的卷积神经网络模型进行对比，分别是Resnet34、Xception和VGG13，实验计算结果记录在表5。

表5 不同模型的分类评价标准测试结果对比

计算结果表明：Resnet34网络难以有效的对样本进行特征提取并分类。原因可能在于输入的多通道高光谱数据使得网络特征提取过程复杂化，34层深度的网络结构在训练集数据上产生网络退化的情况，不适用于机载棉花高光谱数据集的分级评价处理；Xception作为Inception结构的进一步发展，扩大网络横向结构的同时采用深度可分离卷积的思想以提高多通道特征提取融合能力，使得该模型在同样的训练次数下达到70.67% 的分类准确率，但其复杂的网络结构降低了模型训练效率，实验中使用了89 634秒完成1 000个epoch的循环；针对实验获取的高光谱数据，标准VGG13在实验条件下无法完成计算，因此将卷积核个数减半且全连接层神经元个数为标准状况下的四分之一。优化后的VGG13有较好的样本适应能力，经测试样本分类准确率高达84.98%，训练时间相较其余3类网络优势突出；对比前3类网络测试结果文章提出的卷积神经网络虽然在模型训练效率上略有不足，但网络综合优势突出，在不同评价标准上实现了良好的平衡。

3 讨论与结论

3.1 讨论

影像质量评价是一项十分复杂的任务，不应当局限于当前实验研究的状况。本研究存在以下几点不足：（1）采用均值模糊对影像失焦模糊进行了样本复现，对于无人机运动过程中引起的运动模糊、散焦模糊等影像失真未进行样本复现。关于此类失真如何进行准确的影像质量评估可作为后续的研究重点内容。（2）由于高光谱影像图谱合一的特性，针对光谱数据开展质量评估研究，可以作为高光谱影像质量评价参考内容之一，这对于辨别高质量的机载高光谱影像数据是极为有利的。（3）本文所使用的影像样本标定过程采用专家目视解译标定不一定绝对可靠。关于高光谱影像样本的标定需要引入更符合数据特点的评价标准以及客观评价指标来进行横向参考，即目前影像样本仅为单标签标定，可以进一步考虑对高光谱影像进行多标签标定，以体现每个样本间的细微差异突出数据集的多样性、复杂性。（4）目前仅对棉花种植区域的高光谱影像进行了数据采集，对于其他农作物机载高光谱影像质量分级评价的问题，难以避免模型泛化力不足的现象。本文针对现有机载棉花高光谱数据集进行了影像质量评价方法上的探索，所采用的研究手段可供后续其他作物的高光谱影像质量评价工作的开展参考。

3.2 结论

本文对无人机高光谱数据提出了一种基于卷积神经网络的机载棉花高光谱影像质量评价的研究方法。通过数据获取与预处理、数据增强、标签标注、数据集生成、模型生成与训练以及模型评价六个步骤进行。结合图像主观评价方法以及高光谱数据特点，在卷积网络中引入Inception结构，使得卷积运算在抽象特征的同时，进行跨通道的信息交互以及信息整合。实验前通过多次的超参数调节确定网络初始化条件，确保模型结构满足研究需求。对样本的分类结果表明该网络可有效的对5类质量不同的机载棉花高光谱影像数据进分类，在测试集上样本的分类准确率为 99. 06%，平均精确率为 99. 07%，Kappa系数为0.988 7，即基于卷积神经网络对判断机载棉花高光谱影像中的噪声差异以及图像模糊差异具有较好的适应性，能够完成高光谱影像质量的分级评价。