杨森林,万国宾

(1.西安文理学院 物理学与机械电子工程学院, 陕西 西安 710065;2.西北工业大学 电子与信息工程学院，陕西 西安 710072)



·信息科学·

基于分块压缩感知的遥感图像多尺度融合

杨森林1,2,万国宾2

(1.西安文理学院 物理学与机械电子工程学院, 陕西 西安 710065;2.西北工业大学 电子与信息工程学院，陕西 西安 710072)

由于分块压缩采样缺乏全局特性,导致基于分块压缩感知的常规融合图像质量差、且存在分块效应。首先提出图像在小波变换域的非均匀分块压缩感知(WNBCS),然后对压缩采样结果用局部特征规则融合,再用迭代阈值投影算法重构融合图像和消除分块效应。最终提出基于分块压缩感知的遥感图像多尺度融合方法,并给出算法详细实现流程。仿真结果表明WNBCS改善了图像重构质量和速度。实际资料测试结果表明,局部特征压缩融合比最大值和加权融合结果具有更好的视觉效果和定量分析结果。所提融合方法考虑图像全局特性、简化融合决策过程,便于大数据量遥感图像的压缩融合。

压缩感知;图像融合;迭代阈值投影;小波变换

遥感图像融合可以获得同时具有高空间分辨率和高光谱分辨率的遥感图像。经典的遥感图像融合方法是主分量分析(PCA)和强度色彩饱和度(IHS)变换方法[1],但会产生光谱信息的畸变。目前,多分辨率分析融合逐渐成为主流方法,包括小波变换[2]、Curvelet变换[3]和Contourlet变换[4]等。多分辨率分析融合结果优于IHS和PCA等传统方法。随着图像传感器分辨率的变高,遥感资料的数据量越来越大。传统方法的融合决策过程中需要使用图像的全部采样,不便于数据量大的图像融合。近几年发展起来的压缩感知(CS)理论[5],能够实现信号的压缩采样与高精度重构,赋予了图像压缩融合的一个新策略。CS理论已被引入用于图像融合[6-7],但是这些压缩融合方法大都基于整幅图像进行全局压缩采样，存储空间大、重构复杂度高。分块压缩感知(BCS),基于局部压缩采样能减少存储空间和计算复杂度。然而,BCS重构精度较低，且存在分块效应,影响了融合质量。针对这些问题,本文提出一种基于小波变换域的非均匀压缩采样,以改进常规的空间域BCS采样缺乏的全局特征,再选择合适的融合策略将压缩采样有效融合,最后选择快速和精确的重构方法恢复融合图像。

1 小波域非均匀分块压缩感知

对于一个矢量化图像x∈RN×1,假设单位正交矩阵ψ∈RN×N能够对x进行K稀疏表示,以矩阵形式表示为x=ψυ，其中υ∈RN×1为信号x的加权系数序列,可以用K≪N个非零元素近似。压缩感知(CS)理论指出,对于K稀疏信号x可以通过M=O(KlogN)个线性的非自适应投影y=Φx精确重构,其中y∈RM×1为信号x的压缩采样,Φ∈RM×N(M≪N)为测量矩阵。显然,该投影是一个病态反问题。要精确重建信号x，CS理论要求测量矩阵Φ和稀疏基ψ满足约束等距性(RIP)条件[5]。这种压缩采样属于全局压缩采样,其重构计算复杂高、且存储空间需求大。

随着图像像素的不断增加,全局压缩采样重构的计算复杂度越来越高、存储需求越来越大,不便于实际应用。为减少计算复杂度和存储需求,发展起来了分块压缩感知(BCS)[8]。BCS将输入图像分成B×B大小的块,并用相同的测量矩阵进行采样。设xi表示输入图像x的第i分块的矢量化信号, 相应的BCS投影为yi=ΦBxi,其中ΦB∈RMB×B(MB≪B2)是BCS的测量矩阵。由于BCS只需存贮MB×B2的测量矩阵ΦB,相比于全局采样中存储M×N个的测量矩阵Φ,大大减少了存储空间需求。本质上,BCS不具备全局采样特性。虽然BCS减少了重建计算复杂度和存储器需求,但图像重建精度较低、且往往伴随着分块效应。

众所周知,变换域中每一个点都与信号空间域全部原始信息有关系。因此,在小波多尺度变换域进行BCS采样,然后再进行有效融合,就既能实现快速重构、又能提高重构质量[8]。

yk,v=Φlsk,v,

(1)

要实现快速准确的重构,关键在于选择合适的测量矩阵Φl[9]。结构化随机矩阵(SRM)通用性强,精确重建信号所需测量数量几乎是最少的;SRM能分解成为许多结构化子矩阵或块对角化子矩阵的乘积,便于分块处理和线性滤波,能实现非常低的复杂度和快速计算能力。因此,文中选择SRM作为测量矩阵Φl。

考虑到不同级别的DWT分解系数在信号重构具有不同的作用,所以对不同分解级数的子带系数使用不同的压缩采样率Sl。为方便起见,将基带作为第0级分解系数,并且只对应一个子带,则整个信号的压缩采样率S为

(2)

其中L为分解级数,Sl和Jl分别为第l级分解系数的采样率和子带数目,nl,j为第l级分解第j子带系数采样点数,N为总采样点数。考虑到基带和第1级分解系数对重构结果贡献最大,它们的采样率取为1.0。对于其他各级分解系数,不同级别子带之间采用不同的采样率,采样率一般可以选择为Sl=cSl+1(l≥1),其中c为大于1的常数(比如16)。只要给定了目标采样率S,就可以利用式(2)计算各级分解系数的采样率Sl。

总之,上述小波多尺度域压缩采样,对各级分解系数使用不同分块尺寸Bl和不同的压缩采样率Sl,是一种小波域非均匀BCS采样,简记为WNBCS。

2 基于局部特征的融合

在输入图像完成WNBCS采样之后,需要采用有效策略将这些压缩观测结果进行有效融合。对于输入图像的DWT分解系数,传统方法一般采用最大绝对值和线性加权等规则进行融合。然而,这些简单的融合规则,容易忽略图像的边缘特性。因此,本文采用基于压缩采样的局部特征进行融合。

(3)

(4)

3 迭代阈值投影重构

将WNBCS压缩采样融合后,需要将其进行重构才能得到最终融合图像。文献中给出了很多的CS重构方法[5,8],包括线性规划、最小全变分法、梯度投影稀疏重构(GPSR)[10]、迭代贪婪算法和迭代阈值投影等[11]。文中采用迭代阈值投影(ITP)重构融合图像。

对于第n次迭代,定义如下的迭代阈值函数

(5)

(6)

输入参数:输入测量矩阵Φl、DWT算子Ψ、变换算子Θ、融合采样Yv、结束条件ε;

步骤1 反变换g(n)=Ψ-1θ(n-1);

步骤6 阈值滤波

4 仿真实验

4.1 仿真实验

对于一个512×512像素的标准图像Lenna,设目标采样率为0.3,迭代终止条件为ε为0.01,利用CPU为2.0-GHz双核处理器的计算机进行重构。为比较起见,基于常规BCS和WNBCS两种采样方式分别进行压缩采样,并采用迭代阈值投影(ITP)方法进行图像重构,当分块尺寸B分别取为8，16，32和64时,图像块重构的CPU时间和峰值信噪比(PSNR)分别如图1和图2所示。图1结果表明,块重构时间都随着分块尺寸B的增加而增加;对于相同的分块尺寸B,WNBCS采样对应的重构时间更小。图2结果表明,BCS采样对应的重构PSNR随分块尺寸B增加,而WNBCS采样对应的重构PSNR受分块尺寸变化影响小;对于相同的分块尺寸B,WNBCS采样对应的重构PSNR更高。

图1 对不同块尺寸,ITP算法对BCS(星形线)和WNBCS(矩形线)两种采样的块重构时间Fig.1 For different block-size, the reconstruction time of ITP method for BCS sampling (star line) and WNBCS sampling (rectangle line)

图2 对不同块尺寸,ITP算法对BCS(星形线)和WNBCS(矩形线)采样重构图像的PSNRFig.2 For different block-size, the PSNRs of images reconstructed by ITP method for BCS sampling (star line) and WNBCS sampling (rectangle line)

当分块尺寸B固定为16、采样率在0.1～0.5之间变化时,同样用BCS和WNBCS两种方式分别进行压缩采样,并用ITP方法进行图像重构,对应的块重构时间和PSNR分别如图3和图4所示。图3结果表明,ITP算法的块重构时间随着采样率的增加而减少;对于相同采样率,WNBCS采样对应的重构时间小。图4结果表明,ITP重构PSNR随着采样率的增加而变大;对于同一种采样率,WNBCS采样对应的重构PSNR更高。

图3 对不同采样率,ITP算法对BCS(星形线)和WNBCS(矩形线)采样的块重构时间Fig.3 For different subrates, the reconstruction time of ITP method for BCS sampling (star line) and WNBCS sampling (rectangle line)

上述实验结果说明,基于WNBCS采样具有更好的重构质量和计算速度。这是因为WNBCS采样,较好地考虑了图像等效的全局特征。

图4 对不同采样率,ITP算法对BCS(星形线)和WNBCS(矩形线)采样重构图像的PSNRFig.4 For different subrates, the PSNRs of images reconstructed by ITP method for BCS sampling (star line) and WNBCS sampling(rectangle line)

4.2 实际资料

图5(a)与(b)分别为SPOT全色图像(PAN)和多光谱图像(MS),它们经过几何校正和特征匹配等前期处理,总像素为1024×1024。融合处理中,对MS先进行IHS变换,然后将I分量与PAN图像匹配并进行压缩融合,用融合重构结果与替换原来的I分量,再进行IHS反变换得到最终融合图像。在融合过程中,采用小波变换3级分解,各级分块尺寸分别取为16，32和64,进行目标采样率为0.25的多尺度压缩采样。基于局部特征规则进行融合，结果如图6所示。为进一步分析,对3种融合结果进行了定量分析,结果如表1所示,包括平均值(MV)、标准差(STD)、信息熵(IE)和平均梯度(AG)。从表1的分析结果可以看出,基于WNBCS采样的局部特征压缩融合在STD，IE和AG3种指标都具有最好的结果,只有MV小于最大绝对值融合结果。因此,基于WNBCS采样的局部特征压缩融合具有更好的融合结果。

图5 原始的图像Fig.5 The original images

图6 基于局部特征规则的压缩融合结果Fig.6 The compressive fusion by WNBCS sampling with rule of local-feature

此外,用上述3种规则对输入图像进行传统小波融合,并将融合结果进行定量分析,如表2所示。表1和2中定量分析结果比较表明,对于同一种融合规则,基于局部特征的压缩融合与传统小波融合结果的定量分析结果中,除基于局部特征规则融合的AG值有较小差别外,大部分定量分析参数结果都基本一致。本质上,对于以上3种融合规则,最大绝对值和线性加权两种指标都只考虑单个采样点,不受压缩采样影响;而局部特征则需要考虑多个采样点,受压缩采样影响。由于压缩采样后的局部特征发生了变化,造成基于局部特征的小波域压缩采样融合与传统小波融合在AG值中有较小的差别。但值得注意的是,即使采样率低至0.25,基于WNBCS采样局部特征的融合结果比用其他两种规则的传统小波融合具有更好的STD，IE和AG值。然而,与常规融合方法相比,文中所提的压缩融合方法在融合过程中只需要考虑很少的采样点。

表1 压缩融合的定量分析Tab.1 Quantitative analysis for compressive fusion

表2 传统DWT融合的定量分析Tab.2 Quantitative analysis for DWT fusion

5 结 语

本文提出了基于小波变换域BCS采样的压缩融合方法。WNBCS压缩采样考虑了图像的全局特性,有效提高了图像重构性能。实验结果表明,基于WNBCS采样,具有更快的重构速度和更高的重构精度。实际资料处理表明,基于WNBCS采样的局部特征压缩融合得到比最大绝对值和线性加权等融合更好的融合结果。所提压缩融合方法利用少量采样进行有效融合决策,考虑了图像的全局特性,简化了融合决策过程,是大数据量遥感图像压缩融合的有效解决方法。

[1] GONZALEZ-AUDICANA M, SALETA J L, CATALAN R G, et al. Fusion of multispectral and panchromatic images using improved IHS and PCA mergers based on wavelet decomposition[J]. IEEE Transactions on Geoscience and Remote Sensing, 2004，42(6): 1291-1299.

[2] 那彦,焦李成.基于多分辨分析理论的图像融合方法[M].西安：西安电子科技大学出版社, 2007.

[3] MYUNGJIN C, RAE Y K, MYEOUNG R N. Fusion of multispectral and panchromatic Satellite images using the curvelet transform [J]. IEEE Geoscience and Remote Sensing Letters, 2005, 2(2): 136-140.

[4] YANG X H, JIAO L C. Fusion algorithm for remote sensing images based on nonsubsampled contourlet transform [J]. Acta Automatica Sinica, 2008，34(3):274-281.

[5] ELDAR Y C, KUTYNIO G.Compressed Sensing: Theory and Applications [M].New York: Cambridge University Press, 2012.

[6] WAN T, QIN Z. An application of compressive sensing for image fusion [J].International Journal of Computer Mathematics, 2011, 88(18): 3915-3930.

[7] 阮涛,那彦,王澍.基于压缩感知的遥感图像融合方法[J].电子科技, 2012,25(4): 43-46.

[8] FOWLER J E, SUNGKWANG M, TRAMEL E W. Block-based compressed sensing of images and video [J]. Foundations and Trends in Signal Processing, 2010, 4(4): 297-416.

[9] DO T T, GAN L, NGUYEN N H, et al. Fast and efficient compressive sensing using structurally random matrix [J]. IEEE Transactions on Signal Processing, 2012, 60(1): 139-154.

[10] MARIOA T F, ROBERT D N, STEPHEN J W. Gradient projection for sparse reconstruction:Application to compressed sensing and other inverse problems [J]. IEEE Journal of Selected Topics in Signal Processing, 2007, 1(4): 586-597.

[11] BOBIN J, STARCK J, OTTENSAMER R. Compressed sensing in astronomy [J]. IEEE Transactions on Information Theory, 2008, 2(5): 718-726.

[12] SENDUR L, SELESNICK I W. Bivariate shrinkage functions for wavelet-based denoising exploiting interscale dependency[J].IEEE Transaction on Signal Processing, 2002, 50(11): 2744-2756.

(编 辑曹大刚)

Multi-scale fusion for remote-sensing images by block-based compressed sensing

YANG Sen-lin1,2, WAN Guo-bin2

(1.School of Physics and Mechantronic Engineering, Xi′an University, Xi′an 710065, China; 2.School of Electronics and Information, Northwestern Polytechnical University, Xi′an 710072， China)

Since compressive sampling of block-based compressed sensing (BCS) lacks global features, conventional fusion by BCS results in lower quality with blocking artifacts. Firstly the non-uniform BCS sampling of input images in the wavelet-transform domain is presented, and then these compressive samplings are fused by the rule of local-features. Finally, the fused image is reconstructed by iterative thresholding projection (ITP) algorithm with the consideration of blocking artifacts. A fusion method with wavelet-based non-uniform BCS sampling (WNBCS) is proposed for remote-sensing images, while the detailed implementation flows are given. Numerical experiment shows that ITP reconstruction with WNBCS can produce better recovery with low computational cost. Field test indicates that, image fused by the proposed method achieves better subjective visualization and quantitative analysis than those with rules of maximum-absolute-value and linear weighting. The proposed method simplifies the process of fusion decision with consideration of global features, which is advantage for the fusion of big images of remote sensing.

compressed sensing; image fusion; iterative thresholding projection; wavelet transform

2014-02-25

国家自然科学基金资助项目(61401356，41274125)；陕西省自然科学基金资助项目(2012JQ5006；2013K07-47)

杨森林，男，陕西汉中人，博士，从事图像与视频信号处理、电磁场与微波技术、探地信号处理等研究。

TN911.8

：ADOI：10.16152/j.cnki.xdxbzr.2015-03-011