APP下载

混合稀疏表示模型的超分辨率重建

2022-09-03杨雪李峰鹿明辛蕾鲁啸天张南

遥感学报 2022年8期
关键词:正则清晰度分辨率

杨雪,李峰,鹿明,辛蕾,鲁啸天,张南

中国空间技术研究院 钱学森空间技术实验室,北京 100094

1 引 言

遥感影像超分辨率重建SRR(Super Resolution Reconstruction)是利用一组低分辨率图像(或运动序列)来生成高分辨率图像。自Tsai 和Huang(1984)提出以来,引起了广泛的关注。该方法一直是遥感界研究的热点。SRR 方法大致包括频域法、空间域法和基于学习的方法。频域法实现简单,可并行处理,但处理效果不佳。空域重构法主要包括非均匀样本内插法、迭代反投影IBP(Iterative Back-Projection) 算法(Irani 和Peleg,1991;Nitta 等,2006)、凸集投影POCS(Projection Onto Convex Sets)算法(Xu 和He,2017;Lei 等,2018)、最大后验估计MAP(Maximum a Posteriori)算法(Li 等,2017;Yang 等,2018)和全变分TV(Total Variation)算法等(Babacan等,2011;Woods和Katsaggelos,2017)。POCS 方法简单易实现,缺点是求解具有非唯一性、收敛速度慢、计算量大。IBP 算法直观易理解,但存在对图像细节获取能力差,重建图像清晰度不高的问题。MAP 方法是目前最流行的一种超分重建方法,缺点是超分重建后细节信息丢失严重,不适合实际应用。传统的TV 方法对影像平坦区抑噪不充分,容易出现虚假边缘和阶梯效应。随着深度学习技术的蓬勃发展,基于卷积网络的方法被应用到SRR(周峰等,2017;Sha 等,2019),但该方法需要大量的训练数据和计算资源。

近年来,涌现很多基于稀疏表示的超分辨率重建方法。然而通过训练的稀疏表示方法依赖于训练样本,缺乏正则性、存在冗余、计算效率低。在频率域,特定的变换仅擅长为特定类型的输入信号提供稀疏表示,如小波变换(Zhang,2019)比较适合平滑图像中边缘的稀疏性表达;全变分(Chang 等,2018)适合分段线性图像的稀疏性表达;曲波变换(Ramana 等,2018)比较适合卡通图片和文字的稀疏性表达。目前很难找到一种通用的影像稀疏表示方法。但有学者在不断尝试,如,Liu 等(2015)和Shi 等(2016)采用重叠组稀疏正则化项OGSTV(Overlapping Group Sparsity Total Variation)恢复噪声损坏图像,在减轻阶梯效应方面非常有效;Bai 等(2016)提出了一种基于交替方向乘子法求解全变差正则化的模型,对去除椒盐噪声非常有效,但对于随机噪声效果一般。Zhao 等(2018)提出了基于字典和稀疏表示的超分辨率重建方法,但对训练样本要求比较高。

遥感影像SRR 算法需要解决两个方面的问题,一方面SRR 过程是一个病态求解的问题,具有不适定性,无法选取合适的先验模型。因此,需要在图像重建过程中加入先验知识作为约束条件,以获得更优的解。另一方面SRR 要求连续捕获的低分辨率图像的时间间隔尽可能短;如果地面目标在低分辨率图像之间变化较大,超分辨图像就没有意义。

基于此,本文提出了一种新的混合稀疏模型(MSR model),利用高阶非凸全变分HONCTV(Higher Order Non-Convex Total Variation)正则化方法并引入OGSTV 正则化器,达到了在保留重建影像的边缘特征的同时,平衡和控制了HONCTV正则化器产生的平滑效果。再结合影像空间点域的稀疏表达,更好地抑制了影像中的阶梯伪影。求解混合稀疏模型过程中,采用迭代重加权l1 交替方向乘子ADMM(Alternating Direction Method of Multipliers)求解的方法,利用目标函数的可分离性,将重构问题分解为若干个极小化子问题,交替迭代求解,提高稀疏信号的重构质量。该方法在保证计算速度的同时,能有效地重建出最佳结果影像,保证了算法的鲁棒性。

遥感影像获取的时间间隔大是遥感影像应用超分辨率重建的障碍之一,因为在获取遥感影像的时间段内,地面的反射特性可能会发生变化。如Landsat 等遥感卫星虽然空间分辨率较高,能够反映地物系统的复杂变化,但重访周期长,易受云雪等天气的影像,造成一些关键的地物无影像覆盖的等现象(杨军明等,2019)。

GF-4 是中国第一颗同时携带可见光摄像机和红外光学摄像机的地球静止轨道遥感卫星,具有高时间分辨率、较高空间分辨率和较大成像幅宽的特点(Liu 等,2019;Yang 等,2019),轨道高度36000 km,包含1 个全色波段、4 个多光谱波段和一个中波红外波段。可见光相机在赤道附近的光学分辨率约为50 m,中波红外波段的空间分辨率约为400 m。GF-4 具备高频次全天候对地观测能力,可以实现对大面积区域的长期持续观测。获取在极短时间间隔下,全国范围内相关区域的中等空间分辨率卫星影像(聂娟等,2018;朱小波 等,2019,孙越君 等,2018)。因此,GF-4 为使用超分辨率重建方法提升影像空间分辨率提供了机会,也为超分辨率重建方法的应用带来了新的机遇。

但由于GF-4 运行轨道高,成像物距是近地轨道的数十倍,在光学成像载荷技术能力的限制下,为了保证影像的信噪比和MTF 性能,根据瑞利准则,艾瑞光斑与像元大小的比值通常小于标准值4.88,难以获得高空间分辨率图像,严重影响地物信息识别的准确率(Jiang 等,2019)。一般来说,空间分辨率受到光学系统孔径、轨道高度、瞬时视场、探测器阵列密度、卫星重访周期等因素的限制。现有条件下,一旦遥感卫星发射升空,进一步提高空间分辨率最有效的方法是利用超分辨率SR(Super Resolved)技术(Li等,2018b)。

基于此,本文提出了遥感图像MSR-SRR 的方法,利用短期内从同一场景获取的序列帧低分辨率GF-4 影像,结合提出的混合稀疏表示方法开展实验仿真验证,解决了遥感影像的病态问题,重建出空间分辨率高,清晰度好,纹理细节丰富的影像。该方法对进一步推动超分辨率重建技术的理论研究和实际应有具有重要的意义。

2 研究方法

从频域的角度来说,高分辨率图像比低分辨率图像包含更多的高频成分,所以高分辨率图像更细腻且包含更多的细节信息。图像在成像过程中受到相机视角、大气扰动、下采样等因素的影响,每幅低分辨率图像可能包含特有的高频成分,而超分辨率技术本质就是整合多幅低分辨率图像中的高频信息重建高分辨率图像。本文提出的超分辨率重建方法包括影像退化模型建立,基于MSR的超分辨重建和亚像素谱段间/帧间配准方法。

2.1 影像退化模型建立

在遥感图像的成像过程中,存在诸多模糊和噪声等退化因素的影响,遥感图像退化模型是一个描述原始高分辨率遥感图像经过各种模糊、平台漂移/抖动和噪声等影响而退化成低分辨率图像的过程(杨蕊等,2019)。超分辨率重建需要消除各种影响图像质量的模糊、平台漂移/抖动和噪声等因素才能重建出质量更清晰、分辨率更高的图像,因此退化模型的构建研究对超分辨率重建非常重要。通过下面的数学表达来描述原始遥感图像的退化模型(Li等,2018a)。

式中,gi是第i个低分辨率图像;D是下采样矩阵,为空间域上的带降采样因子的抽取算子。Hi是块循环矩阵,用来表示模糊降质过程,包括失焦、运动模糊或光学系统传递函数带来的模糊等;Mi是表示第i幅图像的位置错位和几何变形的矩阵,需要采用参考影像来建立映射目标。在实际应用中,Mi可由序列帧低分辨率影像中的第i个图像与参考影像来估计;u是原始高分辨率图像;K是低分辨率图像的数量;ni表示高斯分布中具有零均值和方差的污染加性噪声。假设r为图像的下采样率,N和M为图像长度和宽度,则D的大小为gi和ni表示长度为的向量。Hi和Mi是N×M矩阵。超分辨率重建的目标是在已知系列低分辨率图像的基础上,重建出原始高分辨率图像u。该过程是通过对每个光谱波段分别进行图像后处理来完成的。退化模型的建立是后续反演高分辨率图像的基础。

2.2 基于MSR的超分辨率重建方法

为了解决式(1)中遥感影像的病态求解问题,仅仅采用全变分影像超分辨率重建容易产生阶梯状边缘伪影的影响,导致重建图像呈块状。本文提出了一种基于混合稀疏表示模型的新型超分辨率重建方法,用于影像阶梯状伪影的去除。通过引入非凸高阶TV 正则化器,在保留边缘的同时,对重建图像中的阶梯效应进行适当的平滑处理。然而,单独使用非凸高阶TV 会使图像平滑,同时放大散斑伪影。因此我们利用图像空间域稀疏性、重叠组稀疏正则化器和非凸高阶TV 互补的优势,来平衡非凸高阶TV 正则化器产生的效果,并对重建图像中的块状有更全局的平滑作用。求解SRR影像就是求解以下优化问题的结果。

式中,φ(·)表示重叠组稀疏正则化项,用来保证重建出影像是边缘规整。表示非凸lp正则化范数。变量λ(λ>0)和ω(ω>0)是正则化参数,用来控制数据保真项和非凸二阶正则化器的正则化参数。s表示影像空间域点分量,表示影像空间域自身点分量的正则化范数,当K的值选取较大时,图像的平滑比重增大。图像Tc(u)是特征约束函数,也被称为框约束,用来约束重建图像的像素值。这种类型的约束由于求解的结果会超出给定的动态范围,因此采用该函数,在预定义的动态范围内重构图像。其中c=[0,1024],u为区间c中的图像像素值。He 等(2016)和Adam 和Paramesran(2019)均已证明这可以提高图像重构的质量。假设C为像素点集合,函数的定义如下:

∇u和假设周期性边界条件情况下,分别表示离散的一阶和二阶梯度算子(Wu 和Tai,2010)。

为了求解最小化问题,本文采用迭代重加权l1交替方向法(Bai 等,2016),式(2)转化为约束优化问题。

对应的增广拉格朗日函数为

式中,ρ(ρ>0)是惩罚参数或正则化参数,同二次项惩罚相关。变量μ1,μ2,μ3和μ4是拉格朗日乘子。采用ADMM 方法研究逐级求解各子问题的最优解。式(5)可以转化为求解以下5个公式。

式中,“argmin”表示的是使目标函数LA(r,s,u,v,w,z,μ1,μ2,μ3,μ4)达到最小值时变量。

下面研究逐级求解各子问题的优化策略。

(1)求解u时,固定r,s,v,w和z,式(6)变为一个严格的凸二次函数最小化问题,这个子问题有一个封闭的解。

在图像u的周期边界条件下,(DHiMi)Τ(DHiMi)和∇Τ∇表示整个块循环,(∇2)Τ∇2表示循环块,式(12)可以转为求解FFT 变换和逆变换(Adam和Paramesran,2019)。

(2)求解v时,固定r,s,u,w和z,式(7)可以转化为OGSTV 的图像去噪问题,具体求解方法参见(Sun等,2017)。

(3)求解w,固定r,s,u,v和z,式(8)是一个非凸二阶去噪问题。本文采用Adam 和Paramesran(2019)提出的迭代重加权l1(IRL1)算法来求解。在IRL1 算法的每次迭代中,式(8)近似为求解l1的问题。

其中权系数ti可根据迭代循环计算出来,为了保证权系数的有效性。通过如下公式进行求解。

式中,ε是为一较小的常量,它用来避免当加权向量中出现零元素值时导致算法运行终止现象。算法迭代过程ε的值通过IRL1算法进行自适应获取。

式(14)可以通过一维收缩迭代函数(Beck等,2009)求解。

(4)求解z,固定r,s,u,v。z的子问题可以用简单的投影问题来解决,式(9)是一个封闭求解的问题。具体求解方法参见(Condat,2014)。

式中,pro(.)是一个投影算法。

(5)求解s的子问题与求解w的子问题方法一致,具体参考w子问题求解方法。

(6)求解r,固定s,u,v,w和z。式(10)也是一个封闭求解的问题。

(7)通过更新拉格朗日乘子μ1,μ2,μ3和μ4可以得出:

通过上述方法可以保证迭代求解过程中的收敛性。在每次迭代中,通过将残差投影到每个域,算法保持大的幅值分量,并将小的幅值系数设置为零,这符合l1 范数最小化。随着迭代的进行,残差越来越小。在每次迭代中,可以分别在重叠组稀疏全变差域和图像空间域重构不同类型的结构分量。当达到一定的迭代次数或算法收敛到最小值时算法终止。

2.3 亚像素谱段间/帧间配准

根据GF-4 卫星影像的成像机理,成像过程中采用滤光片切换技术,在多光谱谱段间成像有一定的时间(数秒)延迟,鲍赫等(2015)通过对不同影像B1和B5通道之间时间间隔的稳定性进行了研究,选取了出现在不同组连续影像中的22 例目标,近似认为GF-4 影像数据每个谱段成像的时间间隔约为7.9 s(程伟,2018)。这种谱段间成像时间上的不同步,造成获取的影像上目标在不同通道间存在位移。此外,由于还受到卫星轨道漂移、卫星平台抖动、大气扰动和地面起伏等因素的影响,导致获取的影像存在严重的几何变形,图像质量下降。因此需要采用额外的方法来提升图像的超分重建精度。本文提出了一种基于联合的亚像素高精度影像配准算法。一方面借鉴基于特征向量的影像匹配算法的鲁棒性,另一方面借鉴基于灰度配准算法的高精度。首先采用基于SIFT 的特征向量匹配算法进行粗配准,而后采用高效灰度配准方法进行快速高精度配准。

基于灰度的图像配准方法大多采用逐步调整待配准图像来逼近参考图像,这样带来的问题是其中待配准图像的Hessian 矩阵在每一次循环中都要重新计算,使得效率低下。本文在(Li 等,2014)的图像配准方法的基础上,假设待配准(源)图像S(u,v)和参考图像T(x,y)的刚性仿射映射关系。采用7个参数描述源图像和目标图像的挤压变形和亮度的变化。这种变形可以表示为

式 中,u=m1x+m2y+m5,v=m3x+m4y+m6,而m7则表示每个像素的亮度差值。通过保持源图像不动,逐步变换目标图像向源图像配准得到仿射变换的参数,最后对这些仿射变换参数作逆变换即可得出源图像配准到目标图像坐标系中所需的仿射变换参数。这样做的优点是参考图像中的Hessian 矩阵只需计算一次,无需在每次循环中更新,进而提高配准效率和精度。

配准过程中,首先将待配准图像和参考图像进行降采样处理。采用SIFT 特征点匹配算法(Zhou 等,2017),通过欧氏距离来判断两幅图像特征点的相似性。在匹配过程中,找出待配准图像中与参考图像特征点A距离最近的点B和距离次近的点C,判断特征点A与B是否是一对匹配点(汪宇雷等,2014)。

式中,d(A,B)为A和距离A最近的点B之间的距离,d(A,C)为A和距离A次近的点C之间的距离。最后用随机抽样一致性RANSAC(Random Sample Consensus)算法消除错误匹配点。完成粗配准后,将粗配准的结果作为待精配准图像。结合参考影像,采用灰度匹配算法进行影像配准,从而获取变换矩阵,将变换矩阵再与待精配准图像进行结合,获得配准后的结果图像。

采用此方法,利用SIFT 特征点配准算法完成了图像灰度配准阶段构建的由粗糙到精细的多层金字塔结构的粗配准过程,可以直接进行金字塔的最底层即最精细层的配准过程。既提升了配准的效率,又大大提高了配准的精度。

3 实验数据

3.1 研究区概况

研究区域覆盖天津市滨海新区。滨海新区,地处华北平原北部,位于山东半岛与辽东半岛交汇点上、濒临渤海,地理坐标为38°40′N—39°00′N,117°20′E—118°00′E。滨海新区拥有海岸线153 km,陆域面积2270 km2,海域面积3000 km2。滨海新区属于暖温带季风型大陆气候,并具有海洋性气候特点。该区域的主要地物包含植被、农田、滩涂、建筑物和水域等,该区域地物分散且结构复杂,适合测试方法。

3.2 数据及预处理

本文选择连续拍摄的10帧GF-4卫星影像数据进行超分辨率重建。GF-4卫星的空间分辨率50 m,拍摄时间间隔是1 min,产品级别是1A级,每帧影像的波段数为5个波段。第一景影像的成像时间是2018-08-24 T 10:30:21,最后一景影像的成像时间是2018-08-24 T 10:40:21。为了提升算法的运算效率,本文根据静止轨道凝视卫星的成像方式,分别从每组实验数据中截取区域相同大小的窗口作为研究区域。如图1所示。

图1 研究区GF-4遥感影像Fig.1 GF-4 remote sensing image of study area

3.3 实验过程

由于GF-4 原始影像的成像面积7000 km×7000 km,单景影像幅宽400 km×400 km,在进行GF-4影像超分辨率重建之前,需要对序列帧GF-4低分辨率影像(N1,N2,…,Ni)进行ROI 区域裁切。对裁切后的ROI 区域,选取中间一帧作为参考帧,采用亚像素帧间配准方法,进行高精度帧间配准处理,通过求取相互间的几何变换参数,进而校正GF-4 影像,使影像中代表同一位置的对应区域映射到相同坐标下,最终得出帧与帧间的影像配准结果。通过建立序列帧低分辨率配准后影像的退化模型,采用基于混合稀疏的超分辨率重建方法,开展超分辨率重建处理,提高影像的GSD (Ground Sampling Distance)和清晰度,丰富影像的细节信息。由于超分辨率后得出的是影像单个波段的结果,且高分四号卫星每个谱段间是有位移偏差的,因此需要对超分辨率重建的结果进行谱段间配准。采用目前流行的POCS 和IBP 的方法开展主观评价以及清晰度、PSFs 等客观评价方法进行精度评价验证。具体算法实现过程如图2所示。

图2 超分辨率重建算法研究过程Fig.2 Flowchart of research

4 结果与分析

为了验证算法的有效性,本文还列举了其他一些超分辨率重建算法的实验结果,如非均匀插值方法、凸集投影POCS 方法(Xu 和He,2017)和IBP 方法(Irani 和Peleg,1991)分别与本文提出的MSR-SRR 方法进行重建结果质量评价。通常,图像评价可以分为主观评价与客观评价两种,主观评价即由人工来评定,对于相同的图片组织不同的人给出各自的评价等级,从而得到图片某一方面的评价,显然这种方法虽然能够反映图像给人的真实感受,但操作复杂且可重复性较差。另一类图像评价方法即客观评价方法包括清晰度、均方误差、峰值信噪比、PSF、MTF 和影像超分结果分类评价等。本文为了验证GF-4 真实卫星影像数据的超分重建结果质量,采用清晰度、PSF和影像分类精度评价分方法进行结果精度验证。

4.1 图像清晰度评价方法

图像超分辨率的目的是获得更好的图像信号。一般图像质量好坏是由多种因素导致,如成像物体的运动、散焦、大气运动、图像压缩、去噪和重采样等。本文为了客观地衡量算法的性能,对重构后的图像进行了清晰度评价。图像清晰度又称图像平均梯度,是通过计算像素周围的梯度得到的。本文采用(Crete 等,2007)提出的基于相邻像素灰度变化的图像清晰度质量评价方法,具体公式如下:

式中,Fhor表示水平方向邻域像素灰度变化值,Fver表示垂直方向上邻域像素灰度变化值,blurF表示邻域像素灰度变化的最大值。该方法首先利用滤波器对图像进行再模糊,并通过计算再模糊前后的邻域像素灰度变化情况来评价图像质量。若变化较大则表明图像模糊失真越小,反之表明图像失真程度越大。

4.2 点扩散函数(PSFs)评价方法

一般来说,不同方法的超分辨图像很难与真实数据进行定量比较。本文假设点扩散函数在已知的情况下,以原始影像经过非均匀插值方法的数据作为模糊数据,分别采用维纳滤波计算POCS方法、IBP 方法和MSR-RR 方法的点扩散函数。由于3 种方法的模糊图像是已知的,当PSF 的幅宽越大时,表明影像的空间分辨率越高,质量也越好(Li等,2014)。

4.3 影像分类精度评价方法

为了进一步验证算法的有效性,本文采用SVM 的分类方法(Yang等,2019)对GF-4原始影像和SRR 结果进行分类结果分析验证,在分类过程中结合同一区域的谷歌高清地图和Landsat 8 卫星影像作为训练参考样本。为了保证算法的一致性,本文选取的Landsat 8 训练样本拍摄时间及研究区域与GF-4的实验研究区域一致。

4.4 实验结果

本文采用4种SRR算法进行实验验证,由于研究区域较大,为了更好展示实验结果的细节信息,将实验结果数据分为上下两个ROI 区域进行可视化展示,展示效果如图3—图4所示。

从图3—图4 的重建结果可以看出,非均匀插值方法重建后的图像边缘相对模糊;POCS 的重建图像由于配准错误出现了严重的像素偏移且未考虑到图像的先验概率,导致图像整体出现锐化情况。IBP 重建的图像主观效果优于前3 种算法,但局部细节信息较为模糊。结果表明,本文提出的MSR-SRR算法具有最佳的视觉观察效果。

图4 ROI-2共4种超分辨率重建算法测试结果Fig.4 Test results of four SRR algorithms of ROI-2

分别采用影像清晰度和分类的方法对4种算法的GF-4 影像的每个波段的重建结果进行客观分析评价,清晰度评价结果如图5所示。

图5 4种超分辨率重建算法结果的清晰度评价结果Fig.5 The image sharpness evaluation results of four SRR algorithms

从图5 可以看出,GF-4 影像的每个波段清晰度值中非均匀插值法的每个波段的清晰度最差,原始影像经过插值之后也是较为模糊的。POCS 方法和IBP 的方法基本一致,MSR-SRR 方法的清晰度最好。

由于经过超分辨重建后影像的空间分辨率提升了2 倍,影像的大小也是原来的2 倍,因此,采用非均匀2倍插值法的结果作为原始比对数据,分别将POCS方法、IBP方法和MSR-SRR 方法的超分辨率重建结果与非均匀插值法的结果相比,3种方法清晰度提升精度如表1所示。

从表1 可以看出,POCS 方法与非均匀插值法相比,5 个波段的清晰度平均提升了25.11%;IBP方法与非均匀插值法相比,五个波段的清晰度平均提升了22.59%;MSR-SRR 方法与非均匀插值法相比,5个波段的清晰度平均提升了31.74%;由此可以看出,POCS 的方法超分辨率重建后的局部细节比IBP 的方法超分辨率重建后的局部细节清晰,采用MSR-SRR 方法超分辨率重建后的影像清晰度提升更明显,纹理细节信息也较为丰富。

表1 3种超分辨率重建方法清晰度提升精度Table 1 Three SRR methods improve the definition and precision /%

采用POCS方法、IBP方法和MSR-SRR方法3种超分辨率重建方法重建出的第一波段数据,以非均匀插值法插值出的第一波段数据为模糊图像,利用PSFs进行超分辨率重构质量评价,评价结果如图6和图7所示。

图6 4种超分辨率重建方法的第一波段重建结果Fig.6 First-band reconstruction results of four SRR methods

图7 PSFs和3种超分辨率重建方法的等效高斯分布方差值Fig.7 Equivalent gaussian distribution variance of PSFs and 3 SRR methods

3 种超分辨率重建方法的PSFs 结果如图7 所示,MSR-SRR 方法显示的PSF 顶端的半峰宽度最大,表示,影像超分重建后的空间分辨率也是最好的。为了进一步对结果进行量化表示,基于等效体积对PSF进行圆对称高斯拟合,每个PSF对应的等效高斯的标准差,标准差越大,则PSF半峰宽度越宽,即SRR 结果越好。本文提出的MSR-SRR方法产生的高斯方差值为1.8415,是3 种重建方法中最高的,因此结果也较好。

分别对GF-4 原始影像和分类结果影像截取ROI局部区域,选取植被、水域、建筑物和土壤等分类样本,以同一时期同一区域的Landsat8影像和谷歌影像为真实样本,采用SVM 的方法进行分类结果分析验证,分类结果如图8所示。

采用总体分类精度、Kappa 系数、用户精度和制图精度对图8 中GF-4 局部区域的原始影像分类结果和超分重建分类结果进行分类精度评价,评价结果如表2所示。

图8 GF-4原始影像和超分重建结果影像的ROI区域分类结果Fig.8 The ROI regional classification results of GF-4 original image and super resolved image

表2 GF-4原始影像和超分辨率重建后的影像ROI区域分类结果精度评价表Table 2 The ROI regional classification results accuracy evaluation of GF-4 source image and SRR image

图8结果表明,超分辨率重建后的影像分类效果更好,纹理细节更丰富,特别是超分辨率重构后能很好的区分出水中间的土壤小路。

从表2 可以看出,GF-4 原始影像与超分辨率重建后的影像ROI 区域分类结果精度对比,OA 值提升了5.96%,Kappa 系数提升了9.66%。这一精度验证的结果表明,超分重建后的GF-4 影像比原始影像的分类结果更好,局部区域的影像纹理细节信息更突出,分类精度更高。

5 结 论

为了将GF-4 影像更好应用于实际,本文利用GF-4 影像高时间分辨率、序列帧特点,结合遥感影像的稀疏性,提出了一种有效的混合稀疏表示框架下的超分辨率重建方法MSR-SRR。

本研究基于SIFT 和灰度联合的亚像素遥感影像配准方法,解决了GF-4 影像波段间和影像帧间存在的位移误差等问题,提高影像的配准精度并把遥感图像在多重变换域的稀疏性表达当作先验概率模型,通过正则化的方法来完成超分辨率重构,提升GF-4 卫星影像的清晰度和GSD,丰富影像的细节信息。

通过与非均匀插值方法、POCS 方法和IBP 方法的重建结果对比,MSR-SRR 方法重建后的影像每个波段的清晰度平均提升了31.74%,PSFs 半峰宽度最大,高斯方差值达到1.8415,是3 种重建方法中影像质量最好的;采用SVM 方法分别对原始影像和超分辨率重建影像进行分类实验和精度验证,结果表明,超分辨率重建后的影像比原始影像的分类结果的总体精度和Kappa 系数提升更明显,OA 值提升了5.96%,Kappa 系数提升了9.7%,这使得到的影像细节信息更突出。

研究表明本文提出的基于混合稀疏表示模型的新型超分辨率重建方法在提升GF-4 影像分辨率方面具有很大的潜力,这种方法既不受地物本身类别的限制,又不局限于影像的信息提取和分类方法,可用于图像去噪和图像恢复等领域,可大大提升目标检测的识别率和准确性,对减灾防灾、气象预警、军事作战具有十分重要的意义。

猜你喜欢

正则清晰度分辨率
影响摄影图像清晰度的因素
我国科学家发明计算超分辨图像重建算法拓展荧光显微镜分辨率极限
任意半环上正则元的广义逆
sl(n+1)的次正则幂零表示的同态空间
绿色建筑结构设计指南
你与高分的距离,只差一个“清晰度”
ARM发布显示控制器新品重点强化对分辨率的支持
“生活中的平面镜现象”教学设计
基于正则化的高斯粒子滤波算法
从600dpi到9600dpi