杨心雨，李参海，龚国辉，王晗，金泽

(1.辽宁工程技术大学，辽宁 阜新 123000；2.自然资源部国土卫星遥感应用中心，北京 100048)

0 引言

随着近年来科学技术的快速发展，越来越多的信息可以通过一定的方式提供给人类使用，最常见的方式有视觉、听觉、触觉等。其中图像视觉所传递的信息占据60%以上。然而，我们见到的图像大多因为成像硬件设备限制或者受限于带宽而进行压缩处理，导致图像分辨率不高，但实际中人们都想要获得清晰度更高的图像。在遥感领域的实际应用中，高分辨率的影像所包含的像素密度比较大，拥有更多有用的细节信息。分辨率的高低是图像信息量大小的一种度量，也是评价影像质量好坏最直观的评价参数[1]，更是衡量一个国家卫星遥感水平的重要标志[2]，这些信息在遥感、测绘等应用领域中起到了至关重要的作用。影像的分辨率在很多情况下会受到成像系统硬件设备的限制，也就是说，提高空间分辨率最显著的方法是优化传感器，但这种方法成本高、技术要求高，实际操作过程中难度较大，所以通常通过软件方式，不需要对硬件设备进行复杂的技术改进，运用改进的图像处理算法模型来处理图像，在低分辨率影像的基础上进行优化，得到较高分辨率的影像。目前在医学成像、高清电视、军事侦察、公关安全监控、图像压缩、高分辨率深度图像获取等研究领域都有重大的应用价值[3]。所以如何快速、高效地将图像分辨率提高成为计算机视觉领域的一个重要研究方向，也由此出现了图像超分辨率(super resolution image reconstruction，SRIR或SR)重建等研究课题。

图像超分辨率重建技术由Tsai等[4]首次提出，这一技术的主要目的就是将低分辨率图像转化成分辨率尽可能高的图像。经过多年发展，出现了很多优秀的算法模型，其中主要有基于插值的算法[5]、基于学习的算法[6-7]、基于建模的算法[8]，如图1所示。现有的基于插值的算法包括最邻近插值、双线性插值法以及三次卷积插值法等[9]；基于学习的方法可以分为浅层学习和深度学习方法[10]。现阶段基于深度学习进行遥感影像重建的方法广受研究人员的欢迎。Jiang等[11]建立EEGAN网络模型，用于增强图像边缘，降低影像噪声影像。Ma等[12]将小波变换与递归神经网络Res-Net结合，用于预测高频分量以及重构图像。Shao等[13]利用稀疏自动编码器(CSAE)学习低分辨率图像与高分辨率图像之间的映射关系，提高影像质量。基于深度学习的影像超分辨率重建结果质量较高，通常可以得到令研究者满意的结果，但是这种方法所需要的影像集数据量大，对研究设备要求高，处理速度慢，在一些要求实时处理的项目研究中，这种方法通常无法满足需求。Anime4K算法是由麻省理工学院研究人员提出，用于动漫图像分辨率的实时快速优化处理。本文尝试将该算法应用于遥感影像超分辨率重建，由于直接应用的效果不好，在此算法基础上进行了改进，提高了对遥感影像的优化效果，并将改进算法与传统的基于插值的超分辨率影像重建算法进行了对比实验。

图1 单张图像超分辨率重建

1 原理

1.1 超分辨率图像重建原理

超分辨率图像重建是指用图像处理和信号处理的方法，通过算法将已有的低分辨率(low-resolution，LR)图像转换成高分辨率(high-resolution，HR)图像的技术[14]。超分辨率处理技术可分为两类。一类是参考多幅同一场景的低分辨率图像合成一幅高分辨率影像，另一类是只参考一幅现有的低分辨率影像，不依赖其他图像，从单幅低分辨率图像重建获取高分辨率图像。由于图像分辨率低，所包含的信息相对较少，但是同一场景的多幅图像所包含的信息必然比一幅图像包含得多，所以运用多幅低分辨率图像重建超分辨率图像的质量更好。然而，实际上多幅图像进行超分辨率重建的算法对图像要求必须要有亚像素的偏移才能实现超分辨率重建[15]。运用单幅图像进行重建的算法对于图像要求不高，所以其研究价值更大。

1.2 现存的问题与Anime4K模型

传统的遥感影像边缘细化算法，例如边缘锐化，通过计算低分辨率图像和更低分辨率图像之间的差异，来获取低分辨率图像的残差，然后将残差锐化后，再将其添加到低分辨率图像中，完成对低分辨率影像的优化。但是，使用锐化算法对遥感影像优化时，容易产生振铃和过冲，影响遥感影像的质量。而基于学习的理论通过使用神经网络结构、稀疏字典或图像中自相似性来预测残差，这种算法相较于边缘细化算法效果更好，处理之后的影像质量不易受影响。但基于学习的方法速度慢，对设备环境等要求高，实时性差，尤其在遥感领域，遥感影像的数据量庞大，每幅影像中都包含有大量信息，使用深度学习的方法进行影像优化需要耗费大量的时间和数据才可以得出结果，速度慢且成本高，在很多情况下都难以实现或得到高质量的结果。

Anime4K算法是应用在动漫图像或视频处理的一种基于超分辨率原理实时处理图像的方法[16]。动漫图像纹理少，由线段和阴影组成[17]，Anime4K算法针对这一特点，先对图像的纹理细节模糊，再对图像线段进行细化、增强处理，达到对动漫整体优化的目的，如图2所示。相对于基于学习的影像优化方法而言，这种SISR算法仅基于图像进行计算，速度快、效率高、更容易实现。相对于传统边缘细化算法，能够解决振铃和过冲的问题，减少对影像质量的影响，对比原影像与实验过后的影像，经过Anime4K处理过的影像分辨率更高，可以更高效地获取所需要的信息。

图2 动漫优化效果图

Anime4K算法是基于超分辨率影像重建原理r=HR-LRU来实现的，是一种单图像超分辨率重建算法。一般来说，对于高分辨率图像，图像可以分为低分辨率图像和残差两部分。在数理统计中，残差是指实际值与估计值之间的差。图像之间的残差指的是不同分辨率图像之间的差值，残差值越小，高分辨率图像与低分辨率图像之间分辨率相差越小，即低分辨率图像越接近于高分辨率图像。Anime4K算法为了提高计算速度与算法的性能，根据Sobel梯度最大化与残差最小化相似的原理，使用Sobel算子计算梯度作为图像的近似残差。

为了验证Anime4K是否适用于遥感影像，本文选取高分二号和资源三号位于同一地理位置的影像图，在对影像预处理后分别实验，得到每张图所对应的残差值。图3中高分二号影像分辨率为1 m，资源三号影像图分辨率为2.1 m，高分二号分辨率高于资源三号分辨率，而高分二号所对应梯度图中的线条也明显比资源三号影像梯度图的线条更细。结果证明，HR=LR_U+r三者之间的关系在影像中是符合的。本文将这一算法应用在遥感影像处理中，优化遥感影像，并检验其效果。

图3 遥感影像及梯度图

1.3 改进的Anime4K算法

Anime4K算法主要通过改变边缘残差线宽来改善图像效果。由于动画图像纹理少、线条多，减少图像纹理不会降低图像质量，所以先对图像进行模糊，这可以在一定程度上消除噪声，在噪声减少的基础上进行最小化残差，效果更好。但是，遥感影像纹理多，模糊之后会丢失信息，降低影像质量，对后续的地物提取、影像分割等常用的影像应用有较大的影响。基于遥感影像的这一特性，去除Anime4K纹理模糊这一步骤，提出RS-Anime4K算法，重建超分辨率遥感影像。改进后的算法主要通过计算影像亮度图及残差图、细化边缘及线条，然后将图像颜色推向边缘线条，导出影像图。Anime4K算法使用Sobel算子代替高斯滤波计算残差，但Sobel算子只有水平和垂直两个方向的滤波器，在计算梯度时会丢失影像的一些纹理信息，所以本文增加两个对角线的滤波器，使RS-Anime4K算法抗噪声能力增强，边缘信息更完整。从图4可以看出，Anime4K对遥感影像已经有了一定程度的优化，但是仍然存在着模糊、视觉效果差的问题；RS-Anime4K处理的影像结果更清晰，图像的边缘得到细化，亮度提高，视觉效果增强，并且在此基础之上完成了对图像的实时快速处理。

实验证明，Anime4K算法更适用于重视轮廓分明的线条或者牺牲精细纹理的图像，在遥感影像处理时，会存在一定的局限性，改进后的RS-Anime4K算法更适用于遥感影像。从处理结果可以看出，该方法对线状地物有更好的优化效果，为了验证这一假设，在后续实验中，对资源三号以及WorldView-2遥感影像使用最邻近差值、双线性插值、三次卷积插值法、Anime4K以及RS-Anime4K插值重建，对结果进行对比，并且对处理之后的影像进行边缘提取、阈值分割，来验证实验结果的有效性。

图4 资源三号改进算法前后结果对比

1.4 RS-Anime4K算法实验流程及技术核心

1)实验流程。本文实验使用WorldView-2影像和资源三号影像进行实验，影像优化的过程主要包括以下步骤。

步骤1：输入低分辨率影像，遍历每个像素值。

步骤2：分别获取其RGB三通道的值，并基于此得到遥感影像各个像素的亮度值。

步骤3：使用四方向Sobel滤波器代替高斯滤波计算梯度，并将其作为图像的近似残差值。

步骤4：进行迭代计算对残差最小化，同时对彩色图像进行相同的操作。

步骤5：输出结果影像，如图5所示。

图5 RS-Anime4K算法流程图

2)残差最小化。根据前文可知，高分辨率图像由残差和低分辨率图像两部分组成，将残差变薄、锐化之后，加到低分辨率图像上，就可以得到一幅比之前分辨率更高的图像，但是残差如果出现错误，尤其本文使用近似残差的情况下，更容易引起振铃或过冲，影响实验结果。因此，本文使用的方法是在对残差进行改变的同时，对原有的低分辨率图像进行相应的改变，使残差变细的同时，在彩色的低分辨率图像上进行相同的操作，这样既可以使得图像分辨率提高，也不会产生振铃和过冲。

本文使用Sobel算子计算出每一个像素值八个方向的梯度之后，选取最大的梯度值作为该点的梯度值，并将梯度最大位置的像素值赋值给该像素，具体函数如式(1)所示。

G[i,j]=max(gα[i,j]),α=0,1,…,7

(1)

式中：gα[i,j]表示各像素的梯度值。

3)Sobel算子。高斯滤波是一种经常使用的去噪滤波，用于降低或是消除高斯噪声，适用于大部分噪声符合高斯分布的图像。

在实际应用中，高斯滤波需要遍历整幅影像的像素值，将各个像素值与其相邻的其他像素值加权平均后得到的值代替之前的灰度值，速度较慢，且容易引起振铃和过冲。Anime4K算法选用了Sobel滤波器代替高斯滤波，计算图像梯度的近似值代替残差。相比高斯滤波，Sobel滤波器计算简便，且在改善边缘时不易造成振铃和过冲。

Sobel是一种用于边缘检测的算子，包括两个卷积因子，分别为横向滤波器Gx和纵向滤波器Gy。两个滤波器均与图像做平面卷积，得出横向和纵向的亮度差分近似值，分别提取水平边缘和竖直边缘。

Sobel算子计算简单，但是在计算时只能对垂直或者水平方向上的频率起作用。RS-Anime4K算法在使用Sobel算子时，增加了对角线上两个方向，与Gx、Gy共同构成四方向的卷积模板。增加的两个对角线滤波器分别如式(2)和式(3)所示。

(2)

(3)

4)亮度计算。发光亮度(luminance)指的是投射在固定方向和面积上面的发光强度。彩色图像的亮度是通过获取影像各像素值的R、G、B值，将三个值按照比重计算得出，亮度计算如式(4)所示。

lum=0.299*R+0.587*G+0.114*B

(4)

1.5 超分辨率图像重建质量评价

超分辨率重建后图像的评价对于算法优劣的评估具有重要意义，具体的可以分为主观评价方法和客观评价方法[18]。主观评价方法难以具体量化，一般通过目视判别的方式，通过人眼主观进行判断；而客观评价方法可以通过信息熵、峰值信噪比(peak signal to noise ratio，PSNR)[19]、结构相似性指数(structure similarity image measure，SSIM)[20]、特征相似性指数(feature similarity index，FSIM)[21]等指标计算影像处理结果与高分辨率参考图像之间的差值来对实验结果质量进行量化评估。

1)信息熵。信息熵是基于一定的统计概率模型，用于描述一个随机过程中离散随机事件平均信息量的概念。在遥感影像质量分析中，影像信息量的多少可以通过信息熵来表示，在判断影像质量时，可以作为一种客观评价方法对实验效果进行判断。

2)结构相似性。结构相似性是衡量两幅图像相似性的指标，通过亮度(luminance)、对比度(contrast)、结构(structure)三个方面来计算。SSIM是超分辨率影像重建算法中一个重要的评价指标。

3)峰值信噪比。峰值信噪比常用作超分辨率影像重建的定量质量评价指标。通过均方误差(MSE)进行计算。

2 实验分析

2.1 超分辨率影像重建对比实验

本文实验包括两部分，第一部分是使用不同超分辨率影像重建算法处理影像结果的对比。Hossain等[22]认为超分辨率影像重建中最邻近算法、双线性插值法、三次卷积插值法均有较好的处理效果且计算步骤复杂度低，所以本文选取了这三种经典算法与本文方法进行对比实验。第二部分是对算法处理结果的进一步验证，包括影像分割验证以及影像重建量化指标评价两部分。

图6和图7是资源三号和WorldView-2影像分别使用几种算法进行超分辨率重建实验后的对比。

图6 不同方法的资源三号超分辨率重建影像与高分二号影像对比

图7 不同方法的WorldView-2超分辨率重建影像结果对比

从实验结果可以看出，Anime4K算法并不适用于遥感影像，该方法的影像处理效果不如传统算法，甚至没有原影像的质量高。而改进后的RS-Anime4K算法对遥感影像的优化取得了大幅度的提升，相较于其他几种超分辨率重建算法，本文算法重建效果最优，尤其是在图像边缘。从两组实验结果可以看出，RS-Anime4k算法对道路的优化有明显的效果，使道路边缘清晰度更高，这一结论在影像中道路等线状地物的优化上有较大的应用价值。

2.2 实验验证

1)影像分割方法验证。在遥感影像的处理过程中，影像分割、地物提取等是遥感应用中的关键步骤，它会直接影响后续工作的准确度。本文为验证图像处理效果，分别选取了基于阈值的分割方法中的固定阈值算法、Canny算子、Laplace算子分别对各影像重建算法的结果进行验证，如图8至图10所示。

图8 Canny边缘提取算法

图9 固定阈值分割算法

图10 Laplace算子

2)超分辨率图像重建指标评价。本文计算了WorldView-2影像实验结果图的信息熵、SSIM、PSNR。计算PSNR以及SSIM两个指标时，首先，对WorldView-2影像使用高斯滤波进行卷积计算；然后，对影像进行模糊处理；接着，对模糊之后的影像进行超分辨率影像重建实验；最后，对结果与原影像进行计算，计算结果如表1所示。

表1 影像处理评价指标

3 实验结果分析

根据对比资源三号和WorldView-2经过RS-Anime4K算法实验前后的影像、验证实验、影像质量评价量化指标，可以得出以下结论。

1)通过人眼主观判别可以看出，RS-Anime4K对两组实验的影像图都有着明显的优化效果，且优于其他几种影像重建算法。影像分辨率明显提高，尤其道路、农田边界等影像边缘部分。

2)在对几种重建算法的结果进行影像分割的验证实验中，在任意选取的几种提取边界、道路的算法中，使用本文算法处理后的影像都得到了相对于其他影像重建算法更好的效果。在利用Canny算子提取边缘时，RS-Anime4K处理结果影像所提取的边缘更清晰、更全面。使用固定阈值法提取道路时，本文算法处理后的影像提取的道路更连续、效果更好。使用Laplace算子提取边缘时，细节提取更完整，与原始影像匹配度更高。但从结果来看，仍然存在一些噪声误差。

3)对实验影像超分辨率重建质量定量评价时，从表1可以看出，本文方法处理之后影像的信息熵的值为7.521 90，信息量显著提升，并且明显高于其他几幅实验处理影像。比较SSIM以及PSNR时，RS-Anime4K实验处理影像与原影像图的SSIM值为0.981 8，PSNR值为26.770 7，两个指标的值均为几种算法中最高。而改进前算法的处理结果值要低于其他几种插值算法，证明RS-Anime4K算法相较于Anime4K算法实验处理结果得到了明显提升，同时优于其他几种插值算法。

综上，主观评判与客观评价结果一致证明了本文算法的科学性、正确性、有效性。与其他几种超分辨率处理技术相比，本文算法具有更大的优势和应用价值。

4 结束语

本文根据高分辨率影像的基本特征与超分辨率算法重建影像的特点，针对超分辨率影像重建容易引起振铃[23]、过冲[24]，及处理速度低等问题，提出了一种基于Anime4K算法改进的RS-Anime4K算法。该算法依据影像与残差之间的关系进行影像重建，解决了常见算法存在的问题的同时，有效地提高了影像的分辨率。基于实验结果，首先，通过人眼判别，对比各算法重建影像的结果证明了本文算法的优势；其次，对实验处理结果进行影像分割提取实验，从提取结果可以看出，运用本文算法处理过的影像质量最高，对后续影像的处理、应用有很大的帮助；最后，通过比较三个客观评价量化指标的计算结果，发现本文的算法同样优于其他几种超分辨率重建算法。综合主观评判与客观评价结果，本文算法相较于传统算法在影像边缘优化上取得了更加理想的结果，在卫星影像的应用中具有更大的优势与应用价值。