苏扬，吴鹏海，，程洁，殷志祥，马晓双，杨辉

1.安徽大学湿地生态保护与修复安徽省重点实验室,合肥 230031;

2.信息材料与智能感知安徽省实验室,合肥 230031;

3.北京师范大学遥感科学国家重点实验室,北京 100089

1 引 言

地表温度LST（Land Surface Temperature）决定了陆地表层系统辐射能量平衡中的长波辐射，是地表辐射能量平衡和水循环物理过程中的关键参数（Li 等，2013）。因此，及时、准确获取LST值，掌握其时空变化规律对农情信息监测、生态和环境研究以及气候变化等方面具有重要意义。要获取区域和全球尺度上地表温度的时空分布，常规的地面定点观测难以实现，而卫星遥感是唯一可能的手段（李召良等，2016）。由于较高的空间分辨率和反演精度，基于热红外TIR（Thermal infrared）遥感的地表温度反演算法引起了学者的广泛关注，并取得了长足的进步，各种热红外遥感地表温度产品得到生产和免费发布（Wu等，2021；Li等，2018）。但TIR传感器具有无法穿透云层的先天缺陷，云覆盖像元信息的缺失很大程度上破坏了地表温度时空分布的完整性和连续性，严重阻碍了地表温度产品的应用（Tang 等，2021；Long 等，2020）。被动微波PMW（Passive microwave）遥感受大气干扰小、可穿透云层，具有可获取全天候地表辐射信息的优势（Zhang和Cheng，2020；Holmes等，2013）。PMW 地表温度数据（如AMSR-E、AMSR2数据）常用于热红外云下地表温度的估算研究（Xu 和Cheng，2021；Xu 等，2019；Shwetha 和Kumar，2016；Duan 等，2017），但其特定扫描方式导致两个相邻轨道之间出现扫描间隙（以下称为轨道间隙）的问题，在中低纬度区域缺失宽度可达数百公里，影响实际应用。因此，重建PMW地表温度数据的轨道间隙具有重要理论价值与实际意义。

目前遥感地表温度缺失信息的重建研究主要集中于热红外云覆盖、传感器故障等情况，针对不同传感器、不同遥感定量产品产生了大量创新性研究方法（Zhao 和Duan，2020；Zhou 等，2017；Zhang 等，2021；Weiss 等，2014；Liu 等，2020），主要包括基于空间信息的方法（Xu和Shen，2013；Shuai 等，2014）、基于时相信息的方法（Zeng 等，2015；刘紫涵等，2017）、基于多传感器信息方法和混合方法（Zhang等，2018；Liu和Wang，2016）。其中基于空间信息的方法适用于小范围信息缺失，并假设缺失像元值可以由周围邻域像元计算出来，这种假设在大范围信息缺失时精度难以保证（Wu等，2021；Duan等，2017）；基于时相信息的方法假设在一定时间内地物信息未发生较大变化或缺失区域与未缺失区域具有相似的变化信息（Zeng等，2018；Weiss等，2014）；基于多传感器方法要求不同传感器能获取同一时间同一地区的地物信息，能处理完全缺失的情况，却常面临分辨率差异、传感器波段设置差异等（Shen 等，2015）。相比而言，对于PMW 地表温度轨道间隙数据的重建研究则较少。Zhang 等（2020）以中国FY-3B MWRI数据集作为辅助数据，采用奇异谱分析算法生成时间连续、空间无缝的AMSR-E 近似数据，但这种方法需要对不同来源的PMW 温度数据进行一致性校正。然而，遥感地表温度具有强异质性和高动态变化特点，使得传统方法难以有效重建低空间分辨率PMW 温度数据的较大轨道间隙。鉴于深度学习在解决复杂非线性问题上的优越性（Chollet，2017），Wu等（2019）针对静止卫星提出基于卷积神经网络地表温度单向重建方法，但这种方法要求相辅助LST信息不能包含缺失值，而实际情况下TIR 数据受云层覆盖的影响，在相邻时间内也很难找到完全无云的有效数据，一定程度上限制了该算法的实际应用。

考虑到AMSR-E LST数据具有较大轨道扫描间隙、相邻时相数据空间信息互补且具有一定周期性等特点，本研究假设待重建AMSR-E 缺失区域像元前后相邻两天的地表温度变化量与未缺失区域像元的地表温度变化量相似，且这种变化量可以从样本中学习到。因此，本文基于上述假设和前期工作基础，提出深度学习方法下利用相邻时相数据双向重建AMSR-E LST数据轨道间隙的研究思路。

2 研究区域与数据

2.1 研究区域

如图1所示。图1（a）为研究区域边界示意图，图1（b）为AMSR-E地表温度数据区域示例图（白色区域为轨道间隙缺失）。

2.2 数据说明

2.2.1 AMSR-E LST数据

搭载在Aqua 卫星上的先进微波扫描辐射仪（AMSR-E）是一种多频双偏振微波辐射计，它可以全天候探测地球表面和大气中微弱的微波辐射。该卫星传感器于2002年开始运行，大约在当地时间下午1：30 pm 和凌晨1：30 am 观测地球，并于2011-09停止运行；它包含12个频段，分布在6个频率（即6.9 GHz、10.7 GHz、18.7 GHz、23.8 GHz、36.5 GHz 和89 GHz）和两个极化态（水平和垂直）。本研究使用的中国大陆区域AMSR-E LST 数据由北京师范大学团队提供，该团队利用国家冰雪数据中心（http：//nsidc.org［2020-09-27］）下载的AMSR-E 亮温产品，在综合考虑环境变量基础上提出一种经验反演算法（Zhang 和Cheng，2020）得到LST 数据。该数据空间分辨率为25 km，每天过境成像两次，白天以降轨过境成像，夜间以升轨过境成像。

2.2.2 MODIS 1 km中国区域每日LST合成产品

本研究采用了Aqua 卫星传感器上的MODIS 每日1 km 地表温度数据（MYD11A1）中国区域合成产品进行验证，MODIS/Aqua 传感器与AMSR-E 传感器处于同一平台上，轨道几何形状和过境时间相同，因此不需要考虑数据采集的时差。数据来源于中国科学院计算机网络信息中心地理空间数据云平台（http：//www.gscloud.cn［2020-09-27］）。

3 研究方法

3.1 模型构建

深度学习中的卷积神经网络CNN（Convolutional Neural Networks）越来越多应用于遥感数据处理中，它能够自动学习不同数据之间固有的复杂关系（Zhang 等，2016）。针对研究中所用AMSR-E LST数据的特点，本文提出一种基于时相信息进行重建的多时相特征连接卷积神经网络MTFC-CNN（Multi-temporal Feature Connection-CNN）。主要网络结构如图2所示，包括下采样部分、上采样部分和注意力单元等。具体结构参数见表1。

图2 MTFC-CNN模型结构Fig.2 The model structure of MTFC-CNN

下采样主要是对输入的AMSR-E LST数据进行特征提取，其中：（1）在卷积层之间中加入批量归一化层BN（Batch Normalization），使得各层输出的概率分布与各层输入的概率分布基本重合，加快模型的收敛速度和参数拟合；（2）选择激活函数ReLU，保证卷积层的输出是输入的非线性组合，确定不同LSTs 之间的非线性联系；（3）为了使模型适用于填充较大区域缺失的LSTs，需要在卷积过程中扩展感受野建立大范围内不同像素之间的关系，以增强LSTs 特征图的上下文信息；通过比较几种增大卷积核感受野的方法，采用了效果更好的卷积核大小为2×2 的平均池化层（Average Pooling）。上采样是实现图像由低分辨率到高分辨率映射的过程，实验中选择了在特征还原上表现良好的转置卷积（Transposed Convolution）进行特征图的还原，使得最后输出原图像大小的重建结果。上采样在结构上和下采样过程相同，在卷积层中加入了BN层并采用ReLU激活函数。

另一方面，由于在采样过程中LST像素的空间位置信息会丢失，所以需要利用下采样中低层LST特征中所包含的位置信息来克服这一问题。为了实现位置信息的重用，一般采用跳跃连接结构直接将低层特征和高层特征连接起来，但还原像素位置信息通常不需要所有低层特征中的信息，引入过多低层特征信息反而容易出现过拟合问题（Ronneberger 等，2015）。本文引入了在图像处理中使用较多的注意力单元（Attention Unit）来解决这个问题，深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，核心目标也是从众多信息中选择出对当前任务目标更关键的信息。在注意力单元中，通过激活高层特征中的有效信息来输出低层特征信息的权重，提取到更为重要的位置信息，得到加权低层特征。上采样中再将高层特征和包含LST像素位置信息的加权低层特征相结合，作为卷积层的输入，增强获取不同LSTs空间信息的能力。

3.2 实验过程

3.2.1 样本准备

考虑到研究区域不同季节、昼夜地表温度变化存在较大差异，研究中将2010年全年AMSR-E LST 数据分成4 个季节的降轨（白天）和升轨（夜晚）数据，共计8 个数据子集。在每一个数据子集内，依次选取相邻时间内连续3 d 的AMSR-E LST 数据作为T1、T2、T3 时刻数据，统一裁剪成24像素×24像素大小的影像块构成数据对。裁剪后的24 像素×24 像素小块上如果都没有缺失值，则作为样本数据集；如果任一时刻有缺失值，则按缺失区域分别制成对应时刻的真实掩膜集。训练过程中选择T2 时刻的完整数据作为label，然后在label中利用T2时刻的真实掩膜集，模拟得到T2时刻的缺失数据，并对样本数据进行归一化处理，得到同一量级（如0—1 之间）的数据集，便于网络进行训练。最后，本文按7∶1 的比例从数据集中随机选取作为训练集和测试集。

3.2.2 模型训练

如图3训练过程示意图所示，模型的输入数据包括4 类：T2 时刻真实数据（标签）、模拟的待重建T2时刻缺失数据（某个日期的缺失数据）、相邻的T1 时刻数据（前一天的数据）、相邻的T3 时刻数据（后一天的数据）。在输入模型前，为了有效利用T2 时刻本身有值区域的LST 特征信息以及结合不同时相间的LST 信息，对T1、T2 与T3、T2 分别进行一个相加操作，将得到的结果进行通道上的连接，得到输入层C。在训练过程中，考虑到网络结构中使用了Attention 机制进行跨层连接，并且因为输入输出的图像大小相同，所以采用残差学习的方法，初始学习率设为1E-4，随迭代次数的增加而递减，误差正向传播结束后，使用反向传播算法更新训练参数，更好得学习LSTs 之间的非线性关系。在损失函数选择上，均方误差MSE（Mean Square Error）作为计算损失函数，计算公式如下：

图3 训练过程示意图Fig.3 Schematic diagram of training process

式中，yi和f（xi）分别表示第i个样本的真实值和预测值，m为样本个数。MSE 损失随着误差的减小，梯度也在减小，有利于函数较快取得最优值，进而得到效果较好的模型参数。

3.2.3 模型测试和真实实验

在模型测试阶段，考虑到实际中AMSR-E LST数据在相邻T1和T3时刻可能都存在空缺，但与T2时刻存在信息互补，本文分别利用上述T1 时刻和T3时刻的掩膜集对测试集T1时刻和T3时刻数据掩膜，得到真实情况下T1、T3时刻有缺失的数据对。但实验中发现模型对相邻时刻数据空间信息的完整性有一定要求，因此如图4测试过程所示，采用简单、快速的空间插值方法得到相对完整的T1、T3 时刻数据对，之后与训练阶段类似，将测试集中掩膜后并经过空间插值得到的T1、T3 时刻完整数据对与模拟的待重建T2 时刻缺失数据作为模型测试输入，得到的T2 时刻重建结果与T2 时刻完整数据进行对比评价，评价指标采用均方根误差RMSE（Root Mean Square Error）和决定系数（R2）。为了验证模型的泛化能力，在测试中选用了一些与训练阶段不同的掩膜形状来进行测试验证模型是否适用于不同缺失区域或缺失率下的重建，并根据实际重建效果进一步优化网络参数。在真实实验阶段，按图4所示测试过程重建T2 时刻数据，最后将得到的中国大陆区域AMSR-E LST 数据与对应MODIS LST产品进行对比，验证重建精度。

图4 测试过程示意图Fig.4 Schematic diagram of testing process

4 结果和分析

4.1 模拟实验

4.1.1 可视化结果

对于2010年4 个季节白天和夜晚的AMSR-E LST数据在样本准备中得到的测试集，在每个季节都分别模拟4种不同缺失情况进行测试（缺失率分别为42%、50%、60%、70%），对比真实影像检验重建效果。为了验证本文所提出方法的重建效果，采用样条空间插值（Spline）、时间线性回归（Regress）两种传统重建方法（Pede 和Mountrakis，2018）作为对比。

由于篇幅限制，图5只展示在50%缺失率下，不同方法对4 个季节白天与夜晚数据的重建结果。Spline 方法由于只利用周围可用的像素信息对缺失部分进行空间插值处理，从直观效果上来看，其重建结果具有平滑效应，失去了纹理信息。Regress方法与本文方法原理上类似，通过构建缺失时刻数据与相邻时序内的数据有效LST 值间的函数关系，再将函数映射关系应用到缺失区域，计算出LST 值，其细节保持比Spline 方法效果要好方法好；但由于构建出的只是一般的线性回归关系，难以刻画LST的高动态变化性，所以在部分细节特征上与真实影像还有一定差异（如图5中红色圆圈所示）。此外，Spline 和Regress 方法在春、冬季的重建效果优于夏、秋季，夜晚重建效果优于白天，可能的原因是春冬季和夜晚的LST的动态变化程度相比于夏秋季和白天较低。然而，无论四季还是昼夜，MTFC-CNN 方法的重建效果都表现较好，无明显差异；证明MTFC-CNN 在挖掘地表温度的时空变化特征方面优于Spline 和Regress 方法，在结构上与真实LST图像更相似。

图5 3种方法对AMSR-E LST的重建效果对比Fig.5 Comparison of reconstruction effects of AMSR-E LST in the three methods

4.1.2 定量评价结果

为了定量比较3 种方法的效果，同样选取了50%缺失率情况下的重建结果，从均方根误差（RMSE）和决定系数（R2）来对重建结果进行定量对比，结果表明在夜晚重建结果整体的RMSE要比白天低一些，从季节上来看，大部分情况下夏季的RMSE 要高于其他季节。总体上MTFC-CNN方法得到结果的平均RMSE 在1.0 K 左右，平均R2在0.88 以上，LST 重建精度优于另外两种传统方法。此外，本文统计了在不同方法在其他3种缺失率情况下（42%、60%、70%）的总体平均RMSE和平均R2，如表3所示，再次显示了MTFC-CNN方法在不同缺失率情况下依然具有优势。

表2 缺失率50%下AMSR-E LST重建精度Table 2 AMSR-E LST reconstruction accuracy under 50%missing rate

表3 缺失率42%、60%、70%下总体重建精度对比Table 3 Comparison of overall reconstruction accuracy at 42%，60%，70%missing rates

此外，为了更直观体现3种方法的重建结果与真实LST 之间的相关性，如图6所示，随机选取一定数量重建后的LST 数据与对应Label 的LST 数据绘制成散点图。图6（a）、（b）、（c）分别是3种方法白天和夜间重建结果与对应真实数据的散点图。无论是散点的分布情况还是定量评价指标，再次表明MTFC-CNN方法优于两种传统方法。

图6 3种方法AMSR-E LST重建结果对比散点图Fig.6 Scatterplots of the comparison of AMSR-E LST reconstruction results between three methods

4.2 真实实验

4.2.1 中国大陆区域重建结果

为了更直观了解重建得到的空间连续的AMSR-E LST数据所显示的地表温度在空间和时间上的分布变化情况，如图7（审图号：GS（2021）3724号）显示了2010-01—2010-12每月取相同日期的白天和夜晚的中国陆地区域AMSR-E LST 的实际重建结果，可以看出重建结果的LST分布，基本符合不同季节对应区域的地表温度变化特点。

图7 2010年每月AMSR-E LST空间分布情况Fig.7 Spatial distribution of AMSR-E LST in each month in 2010

4.2.2 重建精度验证

为了验证在真实实验下，AMSR-E LST 数据轨道间隙像元LST值得重建效果，本研究采用了对应时间MYD11A1地表温度数据1 km 每日中国区域合成产品进行精度验证。考虑到MODIS LST 产品的质量问题及其与AMSR-E LST 的分辨率差异，本文对MODIS 进行如下处理：（1）根据MODIS 产品质量控制文件，选择高质量像元作为候选像元；（2）将MODIS LST 产品重采样成AMSR-E 相同格网大小。将原AMSR-E LST 数据中未缺失部分的LST值和处理后的MODIS LST进行对比，计算得到RMSE 和R2，作为算法的重建误差；同时计算AMSR-E 重建部分像元LST 与对应MODIS LST 的RMSE 和R2，如果两种情况下的RMSE 和R2相近则表明重建效果好。

如图8是对2010年每个月取相同日期的重建结果进行的总体重建精度验证，图8（a）是白天AMSR-E原始未重建部分（黑色点）、重建部分（橙色点）与处理后MODIS产品的散点图；图8（b）则是夜晚AMSR-E 原始未重建部分（黑色点）、重建部分（橙色点）与处理后MODIS产品的散点图。

图8 重建LST和真实LST与MODIS LST对比情况散点图Fig.8 Scatter diagram of reconstructed LST and real LST compared with MODIS LST

从图8中散点的分布和定量评价指标都可以看出，重建部分与MODIS 产品的散点图和非重建部分与MODIS 产品的散点图非常相似，也具有非常接近的定量评价指标，这表明重建部分的LST与未重建部分的LST具有较好的一致性。

此外，为了探究不同季节的重建精度是否变化显著，如表4显示了MTFC-CNN 方法在不同季节的重建精度的定量对比，可以看出不同季节的总体重建精度差异不明显，基本与模拟实验中不同季节重建结果的对比情况一致。只有夏季的重建精度略低于其他季节，主要考虑与夏季LST的变化性更大有关。

表4 真实实验下MTFC-CNN不同季节重建精度对比Table 4 Comparison of MTFC-CNN reconstruction accuracy in different seasons under real experiments

另一方面，为了对比真实实验中本文的方法与其他传统方法重建结果的精度，将本文中的MTFC-CNN 方法和空间插值Spline、线性回归Regress方法的实际重建结果进行定量对比。将3种方法所得结果的重建区域LST 值分别与对应区域MODIS产品的LST值比较，计算得到RMSE 进行比较。如图9结果所示，可以看出在实际生产中，本文中方法相比于另外两种传统方法的RMSE 更低，重建精度更高。

图9 真实实验3种方法重建结果RMSE对比Fig.9 RMSE comparison of reconstruction results of three methods in real experiments

5 结 论

被动微波AMSR-E LST在气候变化研究、灾害监测等领域发挥重要作用，也常作为多云条件下TIR LST 数据的补充，因此重建AMSR-E LST 数据轨道扫描间隙很有必要。鉴于深度学习在解决高动态和非线性问题方面的优势，本文提出一种针对AMSR-E LST 数据轨道扫描间隙问题的多时相特征连接卷积神经网络重建模型（MTFC-CNN），通过引入注意力机制单元来增强不通层次特征之间的联系，以提高模型挖掘LSTs 潜在相关性的能力。本文按照白天、夜晚对2010年全年四季数据分8个子集进行实验。在模拟实验中，经过与两种传统重建方法对比发现，MTFC-CNN 能有效挖掘LSTs 的时空变化信息，取得较好的定量评价结果。在真实实验中，通过与MODIS LST产品对比发现：缺失区域重建出的LST值与其他有值区域LST的时空分布基本一致。总体结果表明，针对AMSR-E LST 轨道间隙数据，MTFC-CNN方法取得了不错的重建效果，是一种有效的重建方法。尽管本文只对AMSR-E LST轨道间隙数据进行测试，但同时适用于AMSR2 和MWRI等其他被动微波LST轨道间隙数据。

然而，本研究中也还存在一些不足希望在后续工作中解决。主要包括：（1）MTFC-CNN 方法要求相邻时相数据与待重建数据具有互补信息，所以适用于AMSR-E、AMSR2 和MWRI 等被动微波温度数据；但直接应用其他传感器数据时由于无法保证互补信息而难以取得较好的重建效果；（2）在对各个季节制作样本集时，由于各数据轨道间隙缺失区域不同，且要保证待重建时刻和前后相邻时刻的影像都是同一区域，目前的顺序裁剪则会出现数据集中各个日期的样本数量分布不均匀的问题，进而导致样本数较少的日期模型训练效果较差。因此，需要发展一种样本量最大化的裁剪方法。