魏之皓，贾克斌，贾晓未

(1.北京工业大学 信息学部，北京 100124；2.先进信息网络北京实验室，北京 100124；3.计算智能与智能系统北京市重点实验室，北京 100124；4.匹兹堡大学 计算机科学学院，美国 宾夕法尼亚州 匹兹堡 15112)

0 引言

地表水体提取是自然遥感领域重要的研究方向之一[1]。其中，对于水体区域进行准确提取是监测不同历史时间点的河流流域变化的关键实现步骤和重要数据基础。作为自然生态循环中重要的组成部分，自然河流具有跨区域流动的特点，因此开展大范围水体区域高精度提取研究对于自然河流的整体性变化监测具有重要意义[2]。

传统的水体提取主要依靠人工实地考察为主，虽然河流的水体区域识别结果准确，但是人工成本极高，且河流区域考察任务的准备和考察周期长，无法满足日益增长的大范围、多频次、常态化的水体区域提取的实际需求[3]。随着空间探测技术的发展，基于遥感卫星的对地观测遥感数据为大范围水体提取提供了新的数据基础，同时也对现有的遥感数据分析方法提出了极大的挑战。

大范围水体提取对应的遥感数据涉及多种遥感卫星所采集的全球不同地域、不同季节的河流水体影像，如图1所示。通过对图1中展示的河流水体遥感光谱信息的伪彩色图像可视化结果进行分析可知，河流因其所处地域地理环境和季节的不同，其河流流域的水体区域及其周围地表环境的光谱信息会出现极大的差异。同时，复杂的自然气候也会使得遥感数据中包含大量云雾及阴影干扰，即遥感数据整体上呈现出了异构性的特点。另一方面，当前遥感数据源极为多样，其在光谱维度、时间维度、空间维度的分辨率均各不相同，整体上呈现出了多源性的特点[4]。综上所述，当前遥感数据的多源性和异构性对于大范围水体提取研究提出了极大挑战。

在遥感数据异构性的研究方面，遥感影像早期主要采用人工解译模式，通过经验丰富的技术人员对遥感影像中的水体区域进行人工标注。该过程需要对技术人员进行早期专业培训，且人工遥感图像解译过程十分耗时[5]，无法适应基于多源异构遥感影像数据的大范围水体提取的客观需求。为此，Mcfeeters[6]提出了一种基于经验阈值的归一化水指数(normalized difference water index，NDWI)标注方法，通过对河流水体在遥感影像的不同光谱带上的数值特征进行经验阈值设定，采用线性运算的方法实现了一种半自动的河流提取。该方法相比于早期的人工解译方法，减少了人工标注的时间成本。然而，由于不同地区的水体成分存在差异，其遥感影像的表征也各不相同，因此识别范围极为有限，且易受到阴影及云雾遮挡的影响，存在识别结果鲁棒性低的问题。

在机器学习领域，Farid等[7]将支持向量机、决策树等模型引入到了遥感影像解译过程中。相比于传统的经验阈值方法，机器学习模型的判决逻辑更具鲁棒性，影像内容识别的稳定性得到了提升。但是由于该类方法是基于单一像素点进行内容识别，未考虑遥感影像中的各个像素点间的相关性，信息的利用率较低，识别性能仍存在极大提升空间。

随着近年来人工神经网络技术的不断发展，以深度学习模型为代表的标注模型在众多领域得到了研究与应用[8]。在遥感影像解译领域，基于多层神经网络结构的分类解译模型因其具有感受野机制，可以将遥感影像中相邻像素间的相关性引入到内容识别过程中，有效提高了遥感影像解译的识别精度[9]。如Isikdogan等[10]提出了一种适合于雨雪密集地区的高光谱图像分别全卷积网络模型，进一步提升了影像解译的准确率。但是由于该类方法所研究的遥感影像数据对象多为人工筛选后的少云雾、阴影的场景，因而在实际应用中，模型易受到大范围遥感场景的特定对象目标提取任务中云雾、阴影等复杂噪声的干扰，进而影响复杂云雾背景下的目标提取准确度。

在遥感数据多源性的研究方面，目前主流的遥感数据源呈现出影像波段覆盖面广、数据获取途径多样且开放度高的特点。其中，不同波段集合的遥感影像数据具有各自的成像优势[11-13]。进一步对图1所包含的哨兵一号合成孔径雷达影像(synthetic aperture radar，SAR)和哨兵二号多光谱影像(multi-spectral imaging，MSI)对于同一段河流的水体区域的可视化结果进行分析可知，哨兵二号影像能够获取高精度河流水体区域影像，但是影像中心部分因云雾阴影的遮挡而无法辨认河流的水体区域边缘。而哨兵一号遥感影像因其成像机理原因，河流区域中心位置边缘保留完整，但是影像整体分辨率精度较低。因此，不同类型的遥感影像可以满足不同类型的遥感监测需求。Li等[14]提出了一种基于合成孔径雷达影像的遥感去云模型，利用合成孔径雷达影像不易受到云雾影响的特点，对目标影像中的云雾进行去除。Tan等[15]提出了一种基于两种遥感影像的分类神经网络模型，通过对两类遥感影像数据间的同一目标像素相关性进行分析，提升遥感影像中城镇区域识别的准确率。以上研究中，研究目标普遍为单源遥感影像去云，及无云雾遮挡的遥感影像目标识别，而针对云雾、阴影等存在成像干扰的自然河流流域的多源遥感影像高精度水体提取的研究方向上仍有极大的提升空间。同时，如何针对不同类型的多源遥感数据的异构性特点，对多源异构遥感影像数据进行有效融合，完成大范围水体区域的精确提取仍面临巨大挑战[16]。

图1 同一河流流域的水体区域在不同时间点所对应的多源异构遥感数据的可视化图像

对现有利用多源异构遥感数据进行大范围水体区域提取方法分析可知，现有研究算法不足之处在于：大范围水体区域提取的研究领域，同时构建具备多源遥感影像数据信息和高精度水体区域分布真值信息的大规模遥感数据库方面仍存在数据基础的空白；包含云雾、阴影干扰的多源异构遥感数据缺乏有效的多尺度融合手段；没有深入挖掘水体遥感影像数据中深层次的高维特征。本文从以上三个角度出发，构建了一个基于哨兵一号合成孔径雷达遥感数据和哨兵二号多光谱遥感数据的大规模多源异构遥感数据库，为大范围水体区域提取的研究提供了包含全球不同地区水体的遥感数据作为数据基础。随后，提出了一种基于多源异构遥感影像数据融合的水体提取深度学习模型，利用合成孔径雷达成像不易受到云雾遮挡的成像特点及多光谱影像在波段覆盖度广的优势，由合成孔径雷达影像提供水体区域的边缘轮廓信息，并由多光谱影像提供水体区域的细部特征信息，完成遥感数据的多尺度特征融合。进一步，针对异构遥感影像在数据结构上复杂的特点，基于数据深层次特征的提取过程，提出了一种面向深层特征提取的高维卷积单元结构，对遥感影像进行高维特征提取。经过对比现有水体提取方法中具有代表性的NDWI方法、机器学习领域的经典算法支持向量机(support vector machine，SVM)以及深度学习领域的主流图像分割U-Net网络[17]、PSPNet网络[18]，验证本文所提出方法在水体提取过程的多源异构遥感数据融合和深层特征提取方面的性能。

1 研究方法

本文的研究技术路线如图2所示。

图2 研究技术路线

首先，本文构建了一个面向大面积区域水体提取的大规模多源异构遥感数据库；随后，提出了一种多源异构遥感数据融合模型，并通过所设计的高维卷积单元实现异构遥感数据的深层特征提取；最后，采用主观和客观评价方法对本文所提出方法的水体提取效果进行性能评估。

1.1 大规模多源异构遥感数据库构建

为开展大范围水体区域识别研究任务，本文建立了一个大规模多源异构遥感数据数据库，研究对象涉及全球不同大洲的自然河流的水体区域，数据类型包括了合成孔径雷达遥感数据和多光谱遥感数据，两种遥感数据的信息如表1所示。

表1 哨兵一号及哨兵二号遥感数据参数信息

为保证卫星数据的轮廓信息完整和数据内容一致性，本文选取了哨兵一号卫星合成孔径雷达数据中的1号波段进行数据库构建。同时，选择了哨兵二号卫星多光谱遥感数据中分辨率高于20 m的2、3、4、5、7、8、8A、11、12共9个波段进行数据库构建。

其中，多光谱遥感影像来自Global RSIR数据集[19]，该数据集包括了15 000幅96像素×96像素的全球水体样本，并包含了2 700幅人工标注的样本。该类样本的伪彩色可视化图像及真值如图3所示。

图3 多光谱遥感影像样本及真值

合成孔径雷达影像来自哨兵一号遥感卫星数据源。为满足不同水体区域在同一时间点同时具备多光谱遥感影像和合成孔径雷达影像的实验数据条件，本文构建了一个与Global RSIR数据集相匹配的大规模合成孔径雷达遥感数据集。首先对合成孔径雷达影像采集地点进行了感兴趣区域筛选过程，选择了与多光谱遥感影像所对应的水体区域相匹配的共12 000幅96像素×96像素的水体区域影像，并采用Labelme标注软件对其中1 800幅河流水体区域影像进行基于手工的水体区域标注，形成遥感样本对应的真值样本，该类样本及真值如图4所示。

1.2 多尺度特征融合的多源异构数据融合模型

多源异构遥感数据源所涉及的遥感数据种类多样，不同遥感数据源在遥感影像空间分辨率、时间分辨率、光谱分辨率等特性上各不相同。传统的多源遥感数据融合模型一般将不同的遥感数据分别采用包括基于归一化指数阈值方法、机器学习方法和神经网络方法等不同类型方法进行单独分析[20]，随后在最终的分割输出部分进行数据融合，即其多源遥感数据的数据融合过程主要体现在对于分割结果的融合部分中。本文针对不同空间分辨率、光谱分辨率的多源异构遥感数据源的融合识别过程，设计了一种基于多尺度卷积神经网络的多源异构遥感数据融合的水体提取模型，利用所设计的多尺度卷积神经网络模型，对不同类型的多源异构遥感数据进行多尺度的数据融合。相比于传统方法只在输出部分对结果进行融合的策略，本文所提出的方法的融合策略更为多元化，该方法的模型如图5所示。该网络主要包含以下关键结构。

1)多源数据输入层。为实现两种多源异构遥感数据的数据融合过程，该模型设计了双数据输入通道，包括了低空间分辨率遥感数据输入A和高空间分辨率遥感数据输入B共两个输入通道。

2)多尺度特征提取层。针对高、低分辨率的多源遥感数据各自的异构性特点，分别对模型中两个输入通道A和B对应的特征提取层进行了基于多尺度的特征结构提取。其中，为输入A通道连接了模型中的池化层数较浅的两层影像特征提取网络模块，与低空间分辨率的遥感影像数据相匹配；为输入B通道连接了模型中的池化层数较深的三层影像特征提取网络模块，与高空间分辨率遥感影像数据相匹配。该影像特征提取网络模块为多尺度全卷积网络，对输入影像进行了基于池化的逐级下采样，在不同分辨率尺度级别对影像进行特征提取。随后，利用上采样过程，将不同分辨率尺度的影像特征进行拼接整合，得到当前输入类型的影像多尺度特征。

以本文所使用的哨兵一号合成孔径雷达遥感影像数据和哨兵二号多光谱遥感影像数据两种多源异构遥感数据源为例，对图5所示模型的具体过程进行说明。针对空间分辨率较低的哨兵一号合成孔径雷达遥感影像数据和空间分辨率较高的哨兵二号多光谱遥感影像数据的分辨率特点，按照空间分辨率与模型输入的关系，分别将合成孔径雷达遥感影像数据作为输入A的数据源、多光谱遥感影像数据作为输入B的数据源。随后，在经由影像特征提取网络模块分别获取到输入A和输入B的影像多尺度特征后，基于图像融合增强原理，采用矩阵乘法实现两种类型影像输入的多尺度特征融合过程。最后，采用基于Sigmoid激活函数的多层全卷积结构实现最终的水体区域的分割过程，输出水体提取结果。模型的损失函数采用了交叉熵损失函数，该损失函数通过概率分布计算实现模型训练的梯度下降过程。

图5 多尺度特征融合的多源异构数据融合模型

1.3 高维卷积单元特征提取模型

针对大范围水体提取过程中的传统网络模型的深层数据特征提取鲁棒性低的问题，提出了一种高维卷积单元特征提取模型，如图6所示，该模型与图5所示模型的高维卷积单元相对应。该模型主要包含以下模块。

图6 高维卷积单元特征提取模型

1)改进残差网络模块。为解决异构遥感影像数据训练过程中模型不易收敛的问题，基于残差网络(residual network)原理对神经网络层进行了改进设计，增加了两层特征维度分别为N和1的全卷积网络层，旨在提升该单位在高维特征描述过程的表达能力。

2)参数泛化模块。针对深度学习模型的有监督训练过程中易出现的过拟合导致低泛化性能的问题，在该单元结构前端设置了Dropout结构，利用该结构在训练过程中将该层神经元参数按照百分比随机置0的机制，降低深度学习模型可能的过拟合问题[21]，提升模型整体的泛化性能。

2 实验与分析

实验基于本文构建的面向大范围水体提取的多源异构遥感影像数据库，对所提出的面向多源异构遥感数据融合的水体提取模型进行性能测试，同时对比了现有主流的水体提取算法。

实验硬件环境为Intel-i7主板和GTX2080显卡，软件环境为Windows10操作系统和Python2.7语言环境。

在各算法的训练及测试过程中，首先随机将数据集按照7∶3的比例进行分割，随后选择其中70%的数据进行算法模型训练，剩余30%进行算法模型测试。最后，分别从客观评价和主观评价两个方面的指标进行实验结果分析。

在客观评价方面，分别计算并对比了本文算法及现有算法在对于同一时相的水体区域进行水体区域提取的定量准确度，具体包括了准确率P、召回率R，以及F1值共三项指标。本文对比算法的参数设置如表2所示。按照上述指标计算过程及算法参数设置，各算法的水体区域提取性能如表3所示。

表2 本文及对比算法的模型参数设置

表3 本文及对比算法的水体提取性能

由表3可知，NDWI算法因其经验阈值的局限性，无法适应不同地域水体遥感光谱的变化差异，因此在大范围水体提取任务上的准确率较低。SVM方法的性能较NDWI有所提升，但准确率仍处于较低水平。U-Net及PSPNet在大范围水体提取任务的性能上较前两者有明显提升，其主要原因是深度学习模型所具有的感受野特征能够更好地对不同区域的水体复杂遥感影像进行判别。本文算法在水体提取的性能上，相比其他算法具有更好的准确率和召回率表现。同时，通过对比无高维卷积单元算法和本文算法可知，本文算法的高维卷积单元对于遥感影像的深层特征进行着重提取，进一步提升了模型在大范围水体提取任务上的深层特征提取能力。

为进一步说明本文算法的性能，对本文算法及对比算法中识别性能较优的U-Net算法进行了基于人眼主观评价的水体提取结果对比分析，如图7所示。其中，图7展示了测试数据集中四种云雾及阴影对于水体区域部分遮挡的典型场景，并分别对各场景的合成孔径雷达影像、多光谱遥感影像、水体区域识别真值、U-Net算法以及本文算法的水体提取结果进行了图像展示和对比。分析图6的对比结果可知，因对比算法中性能较好的U-Net模型为多光谱遥感影像的单输入模型结构，对于云雾及阴影遮挡区域的水体无法完整提取，而本文算法的多源异构遥感影像输入结构能够利用合成孔径雷达遥感影像进行整体水体区域轮廓的提取，并基于多光谱遥感影像进行水体区域细节的识别，同时本文提出的高维卷积单元进一步提升了对于影像中水体区域的特征描述，因此本文算法在大范围水体提取任务上的性能更优。

图7 本文算法及对比算法识别性能的人眼主观评价过程

3 结束语

本文提出了一种基于多源异构遥感数据的大范围水体提取方法。基于所构建的多尺度特征融合的多源异构数据融合模型，由合成孔径雷达影像提供水体区域的边缘轮廓信息，并由多光谱影像提供水体区域的细部特征信息，同时结合所提出的高维卷积单元进行深层特征提取，实现基于多源异构遥感影像融合的大范围水体提取。对比实验表明，本文算法在包含全球不同地区水体影像的大规模多源异构遥感数据库中的水体提取准确率达到了90.12%，相比于现有水体提取算法，本文算法对于大范围水体提取的准确率提高了3.73%以上，证明了其在大范围水体提取任务上的鲁棒性。在面向多源异构遥感数据的水体提取领域，各类遥感数据在时间分辨率等方面均各不相同，针对不同类型的多源异构遥感数据，下一步考虑在网络结构设计方面进一步进行有针对性的组件设计，以适应更多种类的多源异构遥感数据组合，提升模型在不同类型遥感数据水体提取任务上的适用性。