陈嘉琪 刘祥梅 李 宁 张 燕

①(河海大学计算机与信息学院 南京 211100)

②(河南大学计算机与信息工程学院 开封 475004)

③(河南省大数据分析与处理重点实验室 开封 475004)

1 引言

青藏高原是世界上湖泊最多的地区之一，截至2018年，有1424个湖泊面积达到1 km2以上，总面积约5×104km2，并且这些湖泊大多为内陆湖[1]。因为海拔、气温等条件的限制，这些高原内陆湖受人类活动影响小，多处于自然状态，能真实地反映地质活动和气候变化。对这些湖泊的探测，在环境监测、灾难预警等领域都具有重要意义。光学探测器[2]在该地区虽然应用广泛，但容易受到云雾、降雨等恶劣天气的影响。合成孔径雷达(Synthetic Aperture Radar, SAR)具有较好的穿透性，不受光照、云层等影响，能提供全天时、全天候的观测影像[3]，是监测高原湖泊等内陆水体的理想设备。

传统的SAR水域分割算法主要有阈值分割、机器学习、主动轮廓模型(Active Contour Model,ACM)等。阈值分割法通过设置多个阈值，实现对图像区域的划分，操作简单，缺点是难以选择最优阈值且受相干斑噪声影响大[4]。机器学习在SAR图像处理中逐步成为热点[5]。通过训练样本，建立网络模型，实现水域分割。本文方法不易受相干斑影响，但需要事先制作大量训练样本。ACM算法将图像分割问题转化为求解能量泛函数最小值问题[6,7]，可以获取连续、平滑的轮廓曲线，但对初始轮廓依赖性大[8]。星载SAR受最小天线孔径积的制约，其宽幅模式的空间分辨率通常在10 m数量级，往往无法满足实际应用需求[9,10]。同时，在水域和陆地的边界地区，回波信号区分度相对较小，使得水陆边界难以确定，进一步限制了水域提取的精度。

针对以上问题，为了提升湖泊轮廓提取精度，可以在进行水域分割之前，对图像进行超分辨(Super Resolution, SR)重建。SR是一种通过单张或多张低分辨率(Low Resolution, LR)原始图像得到细节丰富的高分辨率(High Resolution, HR)图像或序列的图像增强方法[10]。当前SR重建算法主要分为3类：插值型、重构型和学习型。插值型算法利用待插值空间相邻点计算得到待插入点像素，是最早的SR算法[11]。该方法优点是计算复杂度低，处理速度快，但缺点是HR图像会出现边缘模糊现象。重构型算法是结合图像的退化模型与LR图像的重建条件，对成像过程建立模型，再将同一场景不同信息融入模型中，得到HR图像的方法[12]。这类算法以时间消耗换取空间分辨率的提高，复杂程度高且无法保证分辨率的提高程度。学习型算法克服了重构中的障碍，在LR与HR样本库之间，通过学习建立二者的映射关系，进而指导完成图像的超分辨重建。近年来随着机器学习的蓬勃发展，基于神经网络的SR算法日益受到关注。

本文提出一种基于深度残差超分辨的SAR图像水域分割算法，在传统ACM水域分割算法中，融入改进的增强型深度超分辨率网络(Improved Enhanced Deep Super Resolution network, IEDSR)。该网络在增强型深度残差网络的基础上，在每个残差块上引入通道注意力块，训练时更加专注于影像的高频信息部分，减少模型复杂度[13]。为进一步缩短运行时间，本文将亚像素卷积层添加到网络末端，用于上采样操作。由此构成一种基于亚像素卷积的增强型通道注意力深度残差超分辨网络。本文对获取的SAR影像，运用Lee滤波器进行相干斑抑制。将滤波后的影像进行超分辨处理，图像的行列像素值扩大为初始图像的2倍。在提高图像中边界的清晰度后，通过ACM提取水域面积。为了验证该模型的精度和在此基础上水域分割的准确性，本文以青藏高原的多庆错湖为例进行实验。该湖泊在2016年发生过突然的干涸和复原现象[14]，其图像更具有代表性。实验表明，本文算法相比于传统的超分辨率网络，重建效果更佳，湖泊轮廓提取精度明显提升。

2 基于混合对数正态分布的ACM模型

经典的ACM模型有C-V和GAC模型等。这些模型在同质性较好的图像中有很好的效果，但对于图像的噪声较为敏感。对于SAR图像而言，其统计分布多呈现非高斯分布，容易受到乘性相干斑噪声影响。本文引用一种基于混合对数正态分布的ACM算法(improved ACM based on Mixed Log-normal Distribution, MLD-ACM)[15]，应用混合对数正态分布对SAR影像进行拟合，通过期望最大化算法对参数进行估计。同时，引入区域可变系数，使水平集在演化过程中能准确停在目标边界。模型的能量函数概括为

3 IEDSR重建模型

图1(a)所示，对原始图像卷积，提取特征。然后将通道注意力块融入残差网络，构成增强型通道注意力深度残差块(Enhanced Channel Attention Resblock, ECAR)，多个ECAR级联实现非线性映射(图1(b))。最后通过亚像素卷积进行上采样，使特征提取与非线性映射能在低分辨率空间实现，从而降低计算复杂度。

3.1 残差网络

超分辨率卷积神经网络(Super Resolution Convolutional Neural Network, SRCNN)[16]被提出以来，基于卷积神经网络(Convolutional Neural Network,CNN)的模型在超分辨率重建领域取得了显著进步[17]，但网络结构往往越来越复杂，模型深度不断增加。在CNN训练过程中，前一层网络的参数变化将引起后一层网络的连锁变化。随着网络深度增加，这一影响会不断放大，导致网络训练难度大、降质、梯度弥散等问题。

深度残差学习理念很好地解决了上述问题。基本思想是使用一个“卷积-ReLU-卷积”模块学习输入到残差的映射，而不是直接学习输入到输出之间的映射(图1(c))。网络期望叠加层学习到的映射函数可以表示为Y (x)=Hx−x ，可用Y (x)+x表示期望学习到的原始映射函数Hx。 其中，用x 表示该结构的输入， Hx表示期望学习到的隐藏映射函数即该结构输出，ReLU为激活函数。卷积-ReLU-卷积模块称为残差模块。

残差模块的另一个优点是可以解决梯度弥散的问题。基础残差模块有着下面的函数关系

3.2 通道注意力机制

图1 算法整体流程图

图像超分辨率重建算法将原始的低分辨率图像输入网络进行特征提取。而低分辨率图像含有大量低频信息，这些信息本可以直接传播到输出。倘若平等对待、处理所有通道，会造成神经网络学习能力下降。本文在神经网络中引入通道注意力机制，增大具有高频信息的通道权值，减小其余含有众多低频信息的权值。以此增加通道之间的差异性，加速网络收敛，并进一步提升网络的学习性能[19]。示意图如图2所示。

图2 通道注意力机制示意图

图2中，输入特征图和输出特征图的维度都是H ×W ×C, HGP表 示全局平均池化操作，WD和WU分别表示降维、升维操作，FSigmoid表示Sigmoid激活函数，⊗ 表示Hadamard乘积。将维度为H ×W×C的特征图作为输入，经过全局平均池化得到的逐通道统计量可看作一系列用于描述各个通道的描述符，将其记作∈RC，那么，的第k 个元素可以表示为

3.3 增强型通道注意力深度残差模块

本文提出将通道注意力机制引入增强型深度残差块，构成ECAR，使构建的重建网络可以专注于更有用的高频信息通道，提高神经网络的学习能力。具体而言，先对输入的特征图进行卷积，从而获得更为深层的特征表示，然后经过通道注意力块的处理，再输出到级联的下一个基本单元提取更深层次的图像特征。ECAR的网络基本单元如图1(b)所示，由2个级联的卷积层、ReLU激活函数和1个通道注意力模块构成，并增加局部跳连结构。通道注意力块中的降维和升维均利用 1×1的卷积实现，降维卷积层使用ReLU激活函数，升维卷积层使用Sigmoid激活函数， ⊗表示Hadamard乘法，⊕ 表示逐 像素加法运算。

3.4 亚像素卷积

现有的SRCNN算法对原始低分辨率图像作双3次插值来得到1张与目标重建结果尺寸相同的低分辨率图像，再将其作为重建算法的输入图像，这样大大降低了算法的整体训练速度。本文去掉用双3次插值的上采样预处理操作，在网络的末端添加亚像素卷积，实现上采样操作。亚像素卷积可分解为两步：(1)对低分辨率特征图作卷积，将它的特征通道数转化为 r2，其中的r 表示上采样倍数，本文为2；(2)对卷积后得到的低分辨率特征图做周期性的移动，通过重新排列获得高分辨率图像作为最终的输出图像。

亚像素卷积操作可以用式(10)的数学形式表示

4 实验结果与分析

本文实验所用计算机CPU为Intel(R) Core(TM) i7-9750H，GPU为NVIDIA GeForce GTX 1650。在tensorflow_gpu-1.13.1学习环境下，使用Python3.6.5进行处理。将滤除相干斑噪声的SAR影像降采样，构建训练样本。为了增加样本数，对图像进行水平与垂直翻折，由120张影像构成训练集。实验内容分两部分：(1)本文算法与插值型算法(Bicubic)、融合卷积神经网络的学习型算法(SRCNN)进行超分辨重建比较；(2)基于上述3种算法与原始图像，应用MLD-ACM算法进行水域轮廓提取，并进行定量分析。

4.1 参数指标与模型训练

本文使用峰值信噪比(Peak Signal to Noise Ratio, P SNR)与结构相似性指数(Structural SIMilarity index, S SIM )来衡量算法间重建效果。PSNR和 SSIM分别用于衡量参考与目标图像的灰度相似性和结构相似性，这里的参考图像指原始高分辨率图像，目标图像指重建输出的图像。两者的数学表达式为

其中， n 表示数据集中样本数量，F (i)与 Xi分别为第i个样本估计值和样本目标值。

使用自适应矩阵估计法作为神经网络训练的优化算法。该算法是随机梯度下降算法的扩展值，通过梯度的1阶、2阶矩估计为网络中各个不同参数设计自适应学习率。图3为训练过程整体趋势变化图，经过2×105次迭代得到模型。当训练次数达到约2×104次后，损失值下降趋势放缓，后续损失值曲线呈微小的上下波动。

4.2 超分辨重建比较

该实验对Sentinel-1A卫星影像，采用Bicubic,SRCNN与本文算法进行超分辨重建。图4为对2016年8月23日VV通道影像处理结果。原始图像558像素×510像素，算法重建后得到的图像为1116像素×1020像素，前后图像水平与垂直方向分辨率为72 dpi。可以明显分辨出，SRCNN与本文算法，相比于原图，其水域与陆地对比有所增强，并且本文算法效果更为明显。而Bicubic处理后图像变化却不明显，与原图相似。

图3 IEDSR网络损失值变化曲线

图4 3种超分辨算法对多庆错湖影像处理结果对比

表1 8组多庆错湖影像重建质量评估(PSNR(dB)/SSIM)

对其余7组处理，其中2016年4月17日与6月12日为湖泊接近干涸的影像，定量结果如表1所示。在这8景影像中，SRCNN在3景图像中 PSNR数值比本文算法大，但就平均值而言，本文算法有更好的重建效果。本文算法的 SSIM指标始终优于其他算法，表明重建后图像与原图结构性差异性更小。SRCNN与本文算法都是学习型超分辨算法，作为插值型的Bicubic效果则明显弱于两者，其两项指标都小于上述学习型算法。

4.3 基于超分辨的轮廓提取

本文对原始图像和应用上述3种重建算法处理后的图像进行水域轮廓提取。以2016年6月12日湖泊干涸时期影像为例(图5)，红线为真实轮廓情况，紫线为本文算法提取结果，蓝线、绿线与黄线为原图、Bicubic和SRCNN处理结果。如图5(a)中所示，蓝线与红线偏差较大，紫线则与红线更为接近。经过超分辨率处理后，在该实验中，轮廓提取结果更为精准，并且本文算法获得了最高的提取精度。

图5 多庆错湖轮廓提取结果

表2 不同时期轮廓提取精度比较(OM(%)/COM(%)/Dis像素)

表2为实验的8组数据在以上4种情形下的精度评估。对原图应用Bicubic，SRCNN与IEDSR，得到分辨率为原图的2倍，同一清晰度的超分辨影像。其中2016年6月12日，未经重建的影像，其3项指标都高于处理后影像，表明重建后提高了轮廓提取精度。综合8景影像结果，IEDSR提取精度依旧比另外3种高。在上述情形下，提取精度比较结果依次是：IEDSR, RSCNN, Bicubic和未经处理的提取结果。Bicubic和SRCNN在8景图像中平均运行时间分别为0.0018 s和12.46 s。IEDSR的平均时间为5.13 s。运行时间从快到慢依次为，Bicubic, IEDSR和SRCNN。Bicubic虽然超分辨效果较差，但计算快。IEDSR则在计算时间和重建效果在本文应用背景下，都优于SRCNN。IEDSR提取多庆错湖轮廓，得到2015年9月到2016年8月的时序结果(图6)。结合表2与图6，在湖水充盈时，这4种情况下提取精度都相对较高。但在出现干涸现象时，以上4种情形精度普遍下降。但本文算法在不同时期，其指标较其他3种情形都较低，表明本文算法具备较好的鲁棒性。

图6 2015年9月至2016年8月应用IEDSR水域提取结果

对于图6得到的水域轮廓，本文进行相应比例放大，计算出湖泊实际面积。结果表明该湖泊从2016年4月起不断萎缩，并出现干涸现象，并在7月份恢复至正常水位。有研究表明，该地区降水、气温条件稳定，未出现气候的异常[14]，其变化的原因未来可以做进一步探究。

5 结论

本文提出一种改进的增强型深度超分辨率网络，结合MLD-ACM边缘提取算法。该方法将通道注意力块融入增强型残差网络，使模型训练过程更集中于图像高频成分，减少模型复杂度。在网络末端进行亚像素卷积，缩短运行时间，同时更加专注图像细节部分。以多庆错湖为例，对超分辨率重建和水域提取情况进行比较分析。实验结果表明，该网络有更好的重建效果，可以提取更加准确的轮廓信息。本文算法具有很好的鲁棒性，可以完成对高原湖泊的监测。另外，多庆错湖在2016年4月—8月的异常现象，也值得进一步研究。